Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
Экономика будущего глазами футурологов | Economy of the Future Through the Eyes of Futurologists Экономика будущего глазами футурологов | Economy of the Future Through the Eyes of Futurologists

Дискуссия экспертов журнала «Позитивные изменения»

Позитивные изменения
От постмодернистской насмешки до университетской программы: какой путь преодолел комикс в России? От постмодернистской насмешки до университетской программы: какой путь преодолел комикс в России?

Расскажем о становлении комикса в России вместе с историком Алексеем Павловским

Правила жизни
Момент истины Момент истины

За последние годы витамин D стал суперзвездой среди нутриентов

Лиза
Toyota Stout. Выпустит ли японская компания конкурента Ford Maverick и Hyundai Santa Cruz? Toyota Stout. Выпустит ли японская компания конкурента Ford Maverick и Hyundai Santa Cruz?

Ходят слухи, что Toyota работает над новым компактным пикапом

4x4 Club
Павел Кеив Павел Кеив

У промышленного дизайна в России совершенно точно есть будущее

Собака.ru
Презрение: что скрывается за высокомерным отношением — научные факты Презрение: что скрывается за высокомерным отношением — научные факты

Как формируется и проявляется высокомерное отношение людей друг к другу?

Psychologies
Как не дать психологическим травмам испортить вашу жизнь Как не дать психологическим травмам испортить вашу жизнь

Как себе помочь и стать успешным и счастливым человеком, несмотря на травмы

Psychologies
Братья наши равные Братья наши равные

Как президент США хотел защитить природу, а оказалось, что не от кого

Weekend
Как генеративный ИИ повлияет на закон об авторском праве Как генеративный ИИ повлияет на закон об авторском праве

Как адаптировать законы об авторском праве в отношении генеративного ИИ

ТехИнсайдер
Дроны, тепловизоры и 3D-модели: технологии, которые спасают наши леса Дроны, тепловизоры и 3D-модели: технологии, которые спасают наши леса

Какие современные технологии помогают спасать деревья с воздуха

ТехИнсайдер
Почему секс полезен для здоровья Почему секс полезен для здоровья

Способность наслаждаться интимной близостью продлевает нам жизнЬ

Psychologies
Как тип привязанности повлияет на ваши отношения: 3 сценария Как тип привязанности повлияет на ваши отношения: 3 сценария

Как сценарий отношений зависит от детского опыта партнеров?

Psychologies
Вопрос психологу: почему созависимые люди продолжают страдать в паре Вопрос психологу: почему созависимые люди продолжают страдать в паре

Можно ли выбраться из созависимости? Есть ли шанс на счастье в подобной связи?

Правила жизни
Стрит-арт, изменивший историю: семь знаменитых «испорченных» мест Стрит-арт, изменивший историю: семь знаменитых «испорченных» мест

Вспоминаем «испорченные» стены и пространства, которые вошли в историю

Правила жизни
Поощрялись ли в старину неравные браки? Поощрялись ли в старину неравные браки?

Какими были браки и венчания в старину

Культура.РФ
BMW X3 и Genesis GV70 разбили на краш-тестах: на чем безопасно ездить BMW X3 и Genesis GV70 разбили на краш-тестах: на чем безопасно ездить

BMW X3 и Mercedes GLC стали самыми безопасными моделями на краш-тестах

РБК
«Это было очень мило. Я заплакала»: Сара Фергюсон раскрыла тайну имени сына принцессы Евгении «Это было очень мило. Я заплакала»: Сара Фергюсон раскрыла тайну имени сына принцессы Евгении

Бывшая невестка Елизаветы II рассказала о младшем внуке

VOICE
Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах

В середине XX века Лайтроллера называли «профессиональным героем»

VOICE
Палеогенетики впервые прочитали ядерные геномы вымерших европейских ослов Палеогенетики впервые прочитали ядерные геномы вымерших европейских ослов

Европейские ослы из Центральной Анатолии — самый поздние особи этого вида

N+1
Вниманию шопоголиков Вниманию шопоголиков

6 уловок в магазинах одежды, на которые мы часто попадаемся

Лиза
Фильмы с двумя главными злодеями Фильмы с двумя главными злодеями

7 картин, в которых главным героям пришлось бороться против двух антагонистов

Maxim
И рублем, и советом, и сервисом И рублем, и советом, и сервисом

Развитию туристической отрасли способствует комплексная господдержка

РБК
«Накачать» точку G и увеличить влагалище: для чего нужна интимная косметология «Накачать» точку G и увеличить влагалище: для чего нужна интимная косметология

Интимная косметология: как она избавляет от дискомфорта?

Psychologies
Новый робот умеет летать, ездить, ходить и даже больше Новый робот умеет летать, ездить, ходить и даже больше

Робот с таким широким набором возможностей нашел бы широкое применение

ТехИнсайдер
Астрономы нашли причину старого гамма-всплеска — это «крик» умирающей звезды Астрономы нашли причину старого гамма-всплеска — это «крик» умирающей звезды

Мощный гамма-всплеск в октябре 2019 года был вызван взрывом массивной сверхновой

ТехИнсайдер
Больше витаминов Больше витаминов

Топ-9 полезных соков и когда пить их не рекомендуется

Лиза
Как подключить сабвуфер к магнитоле: пошаговая инструкция Как подключить сабвуфер к магнитоле: пошаговая инструкция

Какие сабвуферы бывают и что нужно, чтобы подключить их к автомагнитоле

CHIP
Сверхэффективный гидрогель поглощает воду прямо из воздуха даже в пустыне Сверхэффективный гидрогель поглощает воду прямо из воздуха даже в пустыне

Создан супервпитывающий гидрогель, который может вытягивать влагу в пустыне

ТехИнсайдер
Проклятие «Черной жемчужины»: 7 загадочных случаев исчезновения кораблей и их экипажей Проклятие «Черной жемчужины»: 7 загадочных случаев исчезновения кораблей и их экипажей

Истории, когда корабли и экипажи по необъяснимым причинам исчезали с радаров

Правила жизни
Открыть в приложении