Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
Саблезубый олень с копытами: 7 интересных фактов о редком животном Саблезубый олень с копытами: 7 интересных фактов о редком животном

Олень, которого природа наделила не рогами, а мощными клыками

ТехИнсайдер
Может ли белковая диета стать «эликсиром молодости»? Есть нюансы Может ли белковая диета стать «эликсиром молодости»? Есть нюансы

Корреляция между поддержанием умеренной белковой диеты и улучшением здоровья

ТехИнсайдер
Александр Траугот Александр Траугот

За авторской росписью Александра Траугота охотятся фанаты и коллекционеры

Собака.ru
Почему мы теряем веру в себя и как ее вернуть? Почему мы теряем веру в себя и как ее вернуть?

Почему порой мы чувствуем, что не заслуживаем ничего хорошего?

Psychologies
Время изучения и открытий: 7 преимуществ секса в длительных отношениях — откройте подлинную близость Время изучения и открытий: 7 преимуществ секса в длительных отношениях — откройте подлинную близость

Долгие отношения позволяют в полной мере раскрыть сексуальность в полной мере

Psychologies
Не Ариэль единой: путеводитель по русалкам в фольклоре Не Ариэль единой: путеводитель по русалкам в фольклоре

«Правила жизни» проследили культурную эволюцию полулюдей-полурыб

Правила жизни
Инвестиции в продукты виноделен — на какие российские вина стоит обратить внимание Инвестиции в продукты виноделен — на какие российские вина стоит обратить внимание

Как заработать, купив бутылку вина?

СНОБ
Ищу хорошего психолога Ищу хорошего психолога

Найти хорошего психолога самостоятельно непросто

Лиза
Миссия допустима: 5 случаев, когда можно шпионить за партнером Миссия допустима: 5 случаев, когда можно шпионить за партнером

По мнению экспертов, есть ситуации, в которых можно следить за партнером

VOICE
Как генеративный ИИ повлияет на закон об авторском праве Как генеративный ИИ повлияет на закон об авторском праве

Как адаптировать законы об авторском праве в отношении генеративного ИИ

ТехИнсайдер
Сказки помогут в борьбе с климатическим кризисом? Вы поразитесь! Сказки помогут в борьбе с климатическим кризисом? Вы поразитесь!

Ученые стремятся передать сложные аргументы в увлекательных историях

ТехИнсайдер
Влюбленный в себя соперников не имеет. Почему футболу будет скучно без Златана Ибрагимовича Влюбленный в себя соперников не имеет. Почему футболу будет скучно без Златана Ибрагимовича

Спортивный журналист Павел Занозин проважает Ибру на «пенсию»

Правила жизни
Могли ли динозавры видеть «чужими глазами»: любопытное исследование Могли ли динозавры видеть «чужими глазами»: любопытное исследование

Могли ли динозавры использовать визуальное восприятие перспективы?

ТехИнсайдер
Как заставить окружающих прислушиваться к вашему мнению: 4 совета Как заставить окружающих прислушиваться к вашему мнению: 4 совета

Как же начать «звучать» убедительнее для других?

Psychologies
Фрукты с низким содержанием углеводов: не вызывают инсулиновых всплесков и действительно помогают худеть Фрукты с низким содержанием углеводов: не вызывают инсулиновых всплесков и действительно помогают худеть

Фрукты, которые никак не скажутся на твоем весе

VOICE
Кто правит миром: 10 фильмов об инвестициях и больших деньгах Кто правит миром: 10 фильмов об инвестициях и больших деньгах

Фильмы о деньгах могут вдохновить или напротив

РБК
Юдит Шалански: «Каталог утраченных вещей». Удержать прошлое в памяти Юдит Шалански: «Каталог утраченных вещей». Удержать прошлое в памяти

Отрывок из романа-попытки Юдит Шалански оживить прошлое и погрустить об ушедшем

СНОБ
«Любовь: история в пяти фантазиях» «Любовь: история в пяти фантазиях»

Исследование самых устойчивых представлений о любви

N+1
Трупная ткань может стать «эликсиром молодости» для кожи! Попробуете? Трупная ткань может стать «эликсиром молодости» для кожи! Попробуете?

Трупные клетки помогут вашей коже омолодиться

ТехИнсайдер
«Это жалкий муж для меня»: как отдавали под венец представительниц знати «Это жалкий муж для меня»: как отдавали под венец представительниц знати

О блистательной сестре Александра I и ее браке

Forbes
Орангутаны немного побитбоксили Орангутаны немного побитбоксили

Приматологи слушали вокализации орангутанов с островов Борнео и Калитаман

N+1
Нюрка-воровка, невольница в золотой клетке и коварная обольстительница. Актриса Анастасия Ильинская — о своих ролях Нюрка-воровка, невольница в золотой клетке и коварная обольстительница. Актриса Анастасия Ильинская — о своих ролях

Актриса Анастасия Ильинская — о Театре на Бронной и своих планах на будущее

СНОБ
Тося Чайкина Тося Чайкина

Королева непредсказуемых фитов и певица из среды академических музыкантов

Собака.ru
Между «Севером — Югом» и «Западом — Востоком» Между «Севером — Югом» и «Западом — Востоком»

Потенциал развития сельского хозяйства Самарской области

Агроинвестор
«Всё, что имею, единственно по милости Его Величества» «Всё, что имею, единственно по милости Его Величества»

Уроженец Псковского края и выходец из рода князей смоленских Василий Татищев

Дилетант
В Германии 300 человек собрались в церкви на необычную службу. Ее провел ChatGPT! В Германии 300 человек собрались в церкви на необычную службу. Ее провел ChatGPT!

Протестанты посетили церковную службу, сгенерированную искусственным интеллектом

ТехИнсайдер
«Тед Лассо»: чему нас научил заключительный сезон самого жизнеутверждающего телешоу «Тед Лассо»: чему нас научил заключительный сезон самого жизнеутверждающего телешоу

Как «Тед Лассо» научил нас, что настоящая поддержка побеждает боль?

Psychologies
Металлический мир: что известно о миссии по изучению астероида Психея, которая стартует уже осенью Металлический мир: что известно о миссии по изучению астероида Психея, которая стартует уже осенью

Зонд Psyche должен осмотреть целиком металлический мир

ТехИнсайдер
Папоротники и луковицы лилий включили в рацион первых земледельцев Приморья Папоротники и луковицы лилий включили в рацион первых земледельцев Приморья

Палеоботаники изучили материалы из поселения Кроуновка-1

N+1
Открыть в приложении