Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Облака над сушей уменьшили нисходящее длинноволновое излучение Облака над сушей уменьшили нисходящее длинноволновое излучение

Еще один природный механизм, противостоящий потеплению

N+1
Как маски превратились в самый модный аксессуар Как маски превратились в самый модный аксессуар

Как необходимые средства индивидуальной защиты стали брендовыми аксессуарами

GQ
LoveGPT: как искусственный интеллект меняет приложения для знакомств и сферу отношений LoveGPT: как искусственный интеллект меняет приложения для знакомств и сферу отношений

AI уже добрался до человеческих отношений, но пока не установил власть над ними

СНОБ
Моя терапия: «Было проще с ним согласиться, чем слушать крики» Моя терапия: «Было проще с ним согласиться, чем слушать крики»

История о том, как работа с психотерапевтом спасла женщину от абьюза

Psychologies
История человеческого тела История человеческого тела

Эволюция, здоровье и болезни

kiozk originals
Пляшем от печки Пляшем от печки

Мансарда в районе Старого Арбата с дизайнерской голландкой посередине

AD
«Я провела три дня на полу не в состоянии подняться»: жестокая правда жизни стартапера «Я провела три дня на полу не в состоянии подняться»: жестокая правда жизни стартапера

Сколько физических и ментальных ресурсов уходит на то, чтобы не бросить стартап

Inc.
Ответственная за моду: Мирослава Дума Ответственная за моду: Мирослава Дума

Мирослава Дума вернулась в качестве соосновательницы бренда Pangaia

Glamour
«Как, мол, я могу снимать кино про такого токсичного дядьку» «Как, мол, я могу снимать кино про такого токсичного дядьку»

Режиссер Роман Супер — как был придуман и сделан байопик Эдуарда Успенского

Weekend
«В стране террор, люди боятся ехать в офис»: зачем белорусские IT-предприниматели перевозят сотрудников в другие страны и сколько это стоит «В стране террор, люди боятся ехать в офис»: зачем белорусские IT-предприниматели перевозят сотрудников в другие страны и сколько это стоит

Белорусские IT-компании, которые решились на переезд за рубеж

Forbes
Материнское выгорание: личная история и 10 шагов для его профилактики Материнское выгорание: личная история и 10 шагов для его профилактики

Как справиться с материнским выгоранием

Psychologies
Топ-10 горных вершин мира: покорителям высот Топ-10 горных вершин мира: покорителям высот

Подробный гайд для будущих покорителей вершин

Популярная механика
Из тьмы веков, из топи блат Из тьмы веков, из топи блат

Кто жил на землях, на которых в XIII веке возникла литовская держава?

Дилетант
Мне снится пепел: кто такой Чжан Хуань Мне снится пепел: кто такой Чжан Хуань

Чжан Хуань — один из ведущих китайских художников наших дней

Школа Masters
Дважды в Голливуде Дважды в Голливуде

«Афера по-голливудски» — ремейк культовой комедии 1980-х

Weekend
Playmate 2020 Playmate 2020

Полуфинал конкурса на самую горячую девушку по версии Playboy

Playboy
Одежда из фильмов и сериалов, которую многие захотели носить, но лучше бы этого не делать Одежда из фильмов и сериалов, которую многие захотели носить, но лучше бы этого не делать

Спортивный костюм, как в «Джентльменах», идет только Колину Фарреллу

Maxim
Женщины и работа: были ли времена, когда мы бездельничали? Женщины и работа: были ли времена, когда мы бездельничали?

Почему нам не стоит грустить о временах, когда женщины не работали

Cosmopolitan
Сезон спокойствия Сезон спокойствия

Какие стрессовые факторы действуют на вас сильнее всего?

Домашний Очаг
Откуда взялась фраза «Как художник художнику» — а вот и не из «12 стульев» Откуда взялась фраза «Как художник художнику» — а вот и не из «12 стульев»

В романе Ильфа и Петрова этой крылатой фразы нет

Maxim
Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять

Разбираемся в природе газлайтинга и способах борьбы с ним

Cosmopolitan
Попасть в цвет Попасть в цвет

Наиболее распространенные ошибки при окрашивании волос

Лиза
Героини нашего времени Героини нашего времени

Истории выдающихся женщин, которые смело меняют мир вокруг себя

Лиза
Прорицатель или симулянт: 6 сугубо научных фактов о Нострадамусе, которых вы могли не знать Прорицатель или симулянт: 6 сугубо научных фактов о Нострадамусе, которых вы могли не знать

Кем же был Нострадамус — образованным шарлатаном или все-таки истинным пророком?

Популярная механика
Шпалера со смыслами Шпалера со смыслами

Фламандская шпалера середины XVI века

Дилетант
Как снизить вредное воздействие алкоголя на организм Как снизить вредное воздействие алкоголя на организм

Перестаньте выпивать за несколько часов до сна

GQ
Все аппараты, коснувшиеся поверхности Марса Все аппараты, коснувшиеся поверхности Марса

Практика показывает, что до Марса проще долететь, чем сесть на него

Популярная механика
Разрешите себе печалиться Разрешите себе печалиться

Относитесь к негативным переживаниям всерьез и не пытайтесь их подавлять

Psychologies
Расстрел и Людмила Расстрел и Людмила

Неудачная попытка превратить советскую историю в античную трагедию

Weekend
Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо» Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо»

Изабель Юппер примерила амплуа главы криминальной империи

Grazia
Открыть в приложении