Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Раскрыта тайна камней Стоунхенджа: ученые развенчали очередной миф Раскрыта тайна камней Стоунхенджа: ученые развенчали очередной миф

Как добывали камни для мегалитов 5000 лет назад

Популярная механика
Как 64-летняя американка заработала $350 млн на мармеладках с каннабисом Как 64-летняя американка заработала $350 млн на мармеладках с каннабисом

Как Нэнси Уайтман начала свое дело, почерпнув идею из разговоров на вечеринке

Forbes
Монстр или джентльмен: секреты личной жизни Тилля Линдеманна Монстр или джентльмен: секреты личной жизни Тилля Линдеманна

Так что же за человек этот Тилль Линдеманн на самом деле?

VOICE
О чем вы врете самому себе: найдите ответ на этот вопрос и измените свою жизнь О чем вы врете самому себе: найдите ответ на этот вопрос и измените свою жизнь

Отрывок из книги эксперта по нарративной психологии Кори Игера «Чего я хочу?»

Psychologies
5 самых распространенных наказаний в отношениях 5 самых распространенных наказаний в отношениях

Допустимы ли наказания в отношениях?

Psychologies
Рассказ из сборника Анны Матвеевой «Армастан. Я тебя тоже» Рассказ из сборника Анны Матвеевой «Армастан. Я тебя тоже»

Воспоминание о лете и юности в Свердловске — в рассказе Анны Матвеевой

СНОБ
Константин Плотников Константин Плотников

Актер Константин Плотников к евангельскому возрасту получил роль мечты

Собака.ru
Высокий сезон Высокий сезон

Начало лета – самое время есть спаржу. Свежую, сочную, наполненную витаминами

Лиза
Самые добрые породы кошек Самые добрые породы кошек

9 покладистых и ласковых пород кошек, которые не представляют жизни без человека

Maxim
Кофе можно не только пить: 8 удивительных применений молотого кофе в быту Кофе можно не только пить: 8 удивительных применений молотого кофе в быту

8 потрясающих лайфхаков с кофе, которые непременно вам понравятся!

ТехИнсайдер
Fine wine. Как выбрать вино для коллекции и инвестирования Fine wine. Как выбрать вино для коллекции и инвестирования

Коллекционирование вин — давно уже не просто романтическое хобби

Правила жизни
Зодчие империи Зодчие империи

Сколько зарабатывали главные архитекторы Санкт-Петербурга

Деньги
Как распознать абьюз в семье: советы пожилым родителям Как распознать абьюз в семье: советы пожилым родителям

Как проявляется психологическое насилие над пожилыми людьми?

Psychologies
Свежевыжатые соки Свежевыжатые соки

Какие плюсы и минусы скрываются в ароматных соблазнах свежевыжатых соков?

Здоровье
Горячая йога: полезна ли она для здоровья, и что говорит наука Горячая йога: полезна ли она для здоровья, и что говорит наука

Почему бикрам-йога в последние годы приобрела значительную популярность

ТехИнсайдер
Просыпаетесь уставшими? Западные эксперты объяснили, в чем проблема! Просыпаетесь уставшими? Западные эксперты объяснили, в чем проблема!

Что такое эффект "инерции сна" и почему из-за него мы ощущаем себя уставшими?

ТехИнсайдер
Нейросеть изобразила 8 популярных психологических терминов: взгляните и оцените! Нейросеть изобразила 8 популярных психологических терминов: взгляните и оцените!

Midjourney создала иллюстрации, на которых показаны психологические термины

Psychologies
Знай свои права! Как вернуть деньги, если услуга некачественная Знай свои права! Как вернуть деньги, если услуга некачественная

Как отстоять свои права потребителя?

VOICE
Мелирование: подбор цвета, противопоказания и советы экспертов Мелирование: подбор цвета, противопоказания и советы экспертов

Какие техники относятся к мелированию и как выбрать подходящую?

РБК
Убийца из США 40 лет был в бегах, но его наконец поймали! История одного преступника Убийца из США 40 лет был в бегах, но его наконец поймали! История одного преступника

Дональд Сантини скрывался от полиции сорок лет

ТехИнсайдер
Как не дать психологическим травмам испортить вашу жизнь Как не дать психологическим травмам испортить вашу жизнь

Как себе помочь и стать успешным и счастливым человеком, несмотря на травмы

Psychologies
В 1986 году рядом с озером Ньос умерло 1746 человек и все животные. Это случилось за пару секунд В 1986 году рядом с озером Ньос умерло 1746 человек и все животные. Это случилось за пару секунд

21 августа 1986 года на озере Ньос был слышен странный грохочущий звук...

ТехИнсайдер
Wi-Fi-радар: как нас выслеживают, чтобы замучить рекламой Wi-Fi-радар: как нас выслеживают, чтобы замучить рекламой

На вас сыплется интернет-реклама, стоит вам только зайти в магазин?

CHIP
«Называть эти вещи наукой нельзя» «Называть эти вещи наукой нельзя»

Кто такой родолог и сколько он получает

Лиза
«Кто-то где-то»: драмеди о том, как женщина ищет смысл жизни посреди ничего «Кто-то где-то»: драмеди о том, как женщина ищет смысл жизни посреди ничего

«Кто-то где-то» настолько хороший сериал, что его не стоит пропускать

Forbes
Из Дубая с любовью Из Дубая с любовью

Интерьер получился самобытным, ярким, со своим характером и настроением

SALON-Interior
На земле и на суше: зачем люксовые бренды выступают с экологическими инициативами На земле и на суше: зачем люксовые бренды выступают с экологическими инициативами

Какой вклад индустрия роскоши вносит в сохранение флоры и фауны на планете

Forbes
«Год порно»: литературные откровения миллениала-провинциала «Год порно»: литературные откровения миллениала-провинциала

Критики называют Илью Мамаева-Найлз «российской Салли Руни»

Psychologies
5 книг о медицине будущего 5 книг о медицине будущего

Как развивается медицина и что ожидает человечество в будущем

СНОБ
Перенос вагинальной микробиоты детям после кесарева сечения улучшил их нервно-психическое развитие Перенос вагинальной микробиоты детям после кесарева сечения улучшил их нервно-психическое развитие

Перенос вагинальной микробиоты детям улучшил их нервно-психическое развитие

N+1
Открыть в приложении