Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Американские врачи выполнили первую в мире пересадку мочевого пузыря Американские врачи выполнили первую в мире пересадку мочевого пузыря

Хирурги впервые в мире пересадили пациенту мочевой пузырь от мертвого донора

N+1
Искала одного, выбрала другого: чему меня научили свидания Искала одного, выбрала другого: чему меня научили свидания

Читательница поделилась опытом первых свиданий с людьми, встреченными онлайн

Psychologies
Стремительный разгон и быстрый взлет: самые короткие взлетно-посадочные полосы в мире Стремительный разгон и быстрый взлет: самые короткие взлетно-посадочные полосы в мире

Аэропорты, взлетно-посадочные полосы которых проверяют пилотов на прочность

ТехИнсайдер
Моя терапия: «Я пообещала маме и себе, что буду счастливой» Моя терапия: «Я пообещала маме и себе, что буду счастливой»

Когда мир рушится и все против нас, очень сложно найти опору в себе

Psychologies
Виниры, элайнеры, имплантаты – все, что вам надо знать о современной стоматологии Виниры, элайнеры, имплантаты – все, что вам надо знать о современной стоматологии

Разбираемся в секретах ослепительной улыбки вместе со стоматологами

GQ
Не только архитектор Не только архитектор

Чем увлекались русские архитекторы прошлых веков, помимо возведения зданий?

Культура.РФ
Как избавиться от изжоги? Как избавиться от изжоги?

Почему возникает изжога и чем она опасна?

Лиза
Хватит кричать! Хватит кричать!

Объясняем, как перестать срываться на ребенке

Лиза
Открытие 2020 года: Даня Милохин Открытие 2020 года: Даня Милохин

Даня Милохин — лицо не только российского TikTok, но и всего поколения

GQ
Личная эффективность по-настоящему Личная эффективность по-настоящему

Как победить стресс и начать жить с удовольствием

СНОБ
Скажи мне, кто твой друг… Скажи мне, кто твой друг…

Иногда подруги могут разрушить нашу жизнь

Лиза
Станки и люди Станки и люди

Машина на службе у человека или человек в плену у машины? О чем говорит история

РБК
Сергей Лебедев: Дебютант. Первая глава романа об изобретателе смертельного советского яда Сергей Лебедев: Дебютант. Первая глава романа об изобретателе смертельного советского яда

Первая глава из книги о создателе смертельного советского яда «Дебютант»

СНОБ
Клеточные Терминаторы Клеточные Терминаторы

Ученые научились создавать «полу-искусственную полужизнь»

Популярная механика
Вареная кукуруза: польза и вред «царицы полей» Вареная кукуруза: польза и вред «царицы полей»

Полезные свойства, пищевая ценность и противопоказания кукурузы

Playboy
Возвращение парусного флота Возвращение парусного флота

Почему парусники возвращаются?

Популярная механика
11 стильных советов от молодого Леонардо ДиКаприо 11 стильных советов от молодого Леонардо ДиКаприо

В 1990-х Леонардо ДиКаприо был иконой стиля

GQ
Самые сильные знаки зодиака: рейтинг астрологов Самые сильные знаки зодиака: рейтинг астрологов

Расположение небесных тел в момент рождения человека определяет его характер

Cosmopolitan
Playmate 2020 Playmate 2020

Полуфинал конкурса на самую горячую девушку по версии Playboy

Playboy
Осознанное питание: как есть всё, что хочешь, и не толстеть Осознанное питание: как есть всё, что хочешь, и не толстеть

Рассказываем, как научиться слушать свое тело и есть всё, что захочется

Cosmopolitan
В плену чувств: как звуки, вкусы и ароматы определяют наши потребительские желания В плену чувств: как звуки, вкусы и ароматы определяют наши потребительские желания

Глава из книги «Эстетический интеллект» — о работе брендов с ощущениями

Forbes
Мыльная опера королевского ранга: рассказываем о четвертом сезоне Мыльная опера королевского ранга: рассказываем о четвертом сезоне

Четвертый сезон «Короны» — 1980, Маргарет Тэтчер и принцесса Уэльская Диана

Esquire
«Шутить над собой не означает освобождения от себя» «Шутить над собой не означает освобождения от себя»

Как читать трагического поэта XX века Пауля Целана

Weekend
Неандертальцев уличили в сильном хвате Неандертальцев уличили в сильном хвате

Антропологи построили 3D-модель кисти неандертальца

N+1
Вокруг да около Лувра: обзор новой книги о главном музее Парижа Вокруг да около Лувра: обзор новой книги о главном музее Парижа

Новая биография самого известного музея в мире

Forbes
Интервью с художественным руководителем ЦИМа Дмитрием Волкостреловым Интервью с художественным руководителем ЦИМа Дмитрием Волкостреловым

Дмитрий Волкострелов — о феномене большой русской литературы

СНОБ
Гляжусь в тебя, как в зеркало: почему все помешались на эмпатии Гляжусь в тебя, как в зеркало: почему все помешались на эмпатии

Отрывок из книги «Лучшее в нас. Почему насилия в мире стало меньше»

Forbes
«У меня есть внутренний страх привязаться к деньгам»: правила потребления сооснователя Grow Food Даниэля Гальпера «У меня есть внутренний страх привязаться к деньгам»: правила потребления сооснователя Grow Food Даниэля Гальпера

Сооснователь и CEO Grow Food Даниэль Гальпер: как он не копит деньги как хомяк

Forbes
«Бурда Моден – это я» «Бурда Моден – это я»

Как Энне Бурда смогла стать издателем крупнейшего в мире журнала мод

Лиза
Лик Луны. Отрывок из книги Оливера Мортона Лик Луны. Отрывок из книги Оливера Мортона

Глава из книги Оливера Мортона «Луна. История будущего»

СНОБ
Открыть в приложении