Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
Селин Дион, Мадонна, Бейонсе: 15 самых богатых женщин шоу-бизнеса в США Селин Дион, Мадонна, Бейонсе: 15 самых богатых женщин шоу-бизнеса в США

Какие знаменитости вошли в рейтинг самых богатых self-made-женщин Америки?

Forbes
Найдена мутация, которая отвечает за высоту голоса человека Найдена мутация, которая отвечает за высоту голоса человека

Обнаружены мутации, которые коррелируют с более высоким тоном голоса

ТехИнсайдер
Сопки, бухты, острова Сопки, бухты, острова

Можно ли понять и полюбить незнакомый город всего за пару дней?

Отдых в России
Как нейросети создают персонажей и киновселенные Как нейросети создают персонажей и киновселенные

Разбираемся, как используют нейросети в современной киноиндустрии

CHIP
Новая жизнь старых территорий. Кто и как превращает заброшенные фабрики и заводы в развивающиеся общественные пространства Новая жизнь старых территорий. Кто и как превращает заброшенные фабрики и заводы в развивающиеся общественные пространства

Некоторым из бывших заводов и фабрик посчастливилось получить вторую жизнь

СНОБ
Тренд на джентрификацию Тренд на джентрификацию

В современных городах набирает обороты джентрификация

РБК
Почему болит спина: 5 медицинских фактов о взаимосвязи тела и эмоций Почему болит спина: 5 медицинских фактов о взаимосвязи тела и эмоций

Почему боли в спине так тяжело диагностируются и поддаются лечению?

ТехИнсайдер
Датский кинорежиссер Мартин Сковбьерг: Если мы не переосмыслим суть привилегированности, то чувства многих останутся проигнорированы Датский кинорежиссер Мартин Сковбьерг: Если мы не переосмыслим суть привилегированности, то чувства многих останутся проигнорированы

Режиссер Мартин Сковбьерг — о губительных социальных нормах и Копенгагене

СНОБ
Тонкое взаимодействие Тонкое взаимодействие

Интерьер дома, построенного по индивидуальному проекту, сложился подобно пазлу

Идеи Вашего Дома
Орангутаны немного побитбоксили Орангутаны немного побитбоксили

Приматологи слушали вокализации орангутанов с островов Борнео и Калитаман

N+1
Школа юмора и любви к себе и окружающим: каким получился финал сериала «Тед Лассо» Школа юмора и любви к себе и окружающим: каким получился финал сериала «Тед Лассо»

В чем секрет успеха «Теда Лассо» и каким получился последний сезон

Forbes
Нейробиологи нашли, где в мозге человека находится его телесное Нейробиологи нашли, где в мозге человека находится его телесное

Удалось впервые локализовать "самоощущение" человека

ТехИнсайдер
Жажда власти, похоть и тщеславие в фильме Паоло Соррентино о Сильвио Берлускони Жажда власти, похоть и тщеславие в фильме Паоло Соррентино о Сильвио Берлускони

«Лоро» Паоло Соррентино — ироничный байопик о Сильвио Берлускони

Правила жизни
Ученые озадачены! У белокожих меньше пищевых аллергий, чем у людей с другими цветами кожи Ученые озадачены! У белокожих меньше пищевых аллергий, чем у людей с другими цветами кожи

Уровень дохода и цвет кожи человека влияют на развитие пищевых аллергий

ТехИнсайдер
Как арктические микроорганизмы строят себе железомарганцевый дом Как арктические микроорганизмы строят себе железомарганцевый дом

Бактерии формируют себе надежное убежище и одновременно создают запасы сырья

Наука
Новый робот умеет летать, ездить, ходить и даже больше Новый робот умеет летать, ездить, ходить и даже больше

Робот с таким широким набором возможностей нашел бы широкое применение

ТехИнсайдер
Без вины виноватый: защищаемся от субсидиарной ответственности Без вины виноватый: защищаемся от субсидиарной ответственности

Что такое субсидиарная ответственность и как от нее защититься

Inc.
Как законно обогащаться за счет ошибок и просчетов продавцов дорогостоящих товаров Как законно обогащаться за счет ошибок и просчетов продавцов дорогостоящих товаров

Как Стив Белкин обогатился за счет авиакомпаний

Forbes
Преступники или герои? Какими бывают хакеры и правда ли все они программисты Преступники или герои? Какими бывают хакеры и правда ли все они программисты

Денис Ройо делится своим видением мира хакеров изнутри

ТехИнсайдер
Почему некоторые люди вечно опаздывают и как можно избавиться от этой пагубной привычки Почему некоторые люди вечно опаздывают и как можно избавиться от этой пагубной привычки

В чем причины систематических опозданий и как можно от них избавиться?

ТехИнсайдер
Мечтательная страсть. Тест-драйв очень быстрого электроседана Voyah Мечтательная страсть. Тест-драйв очень быстрого электроседана Voyah

Первое знакомство с электрическими новинками Voyah

РБК
Секс втроем и подглядывание: 7 самых популярных женских сексуальных фантазий Секс втроем и подглядывание: 7 самых популярных женских сексуальных фантазий

Образы, с которыми связаны женские эротические фантазии, озвучил психоаналитик

Maxim
Погибоша аки обре Погибоша аки обре

Как история обошлась с могучим племенем обров или аваров

Вокруг света
Первооткрывательница Шагала и Малевича: какой была галеристка Надежда Добычина Первооткрывательница Шагала и Малевича: какой была галеристка Надежда Добычина

О вкладе первой российской галеристки в современное русское искусство

Forbes
Почему Великая Тартария — миф? Почему Великая Тартария — миф?

Разбираемся, кто и почему придумал миф о великом государстве славяно-ариев

Maxim
Колибри не понравился сироп с повышенным содержанием спирта Колибри не понравился сироп с повышенным содержанием спирта

Слишком высокие дозы спирта для колибри чреваты интоксикацией

N+1
Книги жалоб Книги жалоб

Ярмо жизни и тень рая в прозе Людмилы Петрушевской

Weekend
Ненависть к пробкам и очередям: 7 триггеров, которые идут из нашего детства Ненависть к пробкам и очередям: 7 триггеров, которые идут из нашего детства

Почему рядовое событие порой вызывает у нас такую бурную реакцию?

Psychologies
Эти четыре новых вида белка могут в скором будущем заменить животные продукты — какие они на вкус? Эти четыре новых вида белка могут в скором будущем заменить животные продукты — какие они на вкус?

Собрали самые интересные открытия — белок из воздуха, грибов, электричества

VOICE
Открыть в приложении