Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Император Святой Руси» «Император Святой Руси»

Что в XV-XVIII веках означало слово «чин»?

N+1
4 ловушки на дороге, в которые может попасть каждый водитель 4 ловушки на дороге, в которые может попасть каждый водитель

Как водители попадают в неприятные истории на дороге?

РБК
Зловещий ИИ: зачем чат-боты рушат семьи и делают нас глупее и кто в этом виноват Зловещий ИИ: зачем чат-боты рушат семьи и делают нас глупее и кто в этом виноват

Действительно ли от нейросетей исходят серьезные угрозы?

Forbes
Трендовые бьюти-образы: 16 идей стильного макияжа для карих глаз Трендовые бьюти-образы: 16 идей стильного макияжа для карих глаз

Конец осени и начало зимы — это не повод отказываться от мейкап-экспериментов

Cosmopolitan
Как стать лучшим мужчиной в постели девушки: секс-эксперт Трейси Кокс поделилась секретами Как стать лучшим мужчиной в постели девушки: секс-эксперт Трейси Кокс поделилась секретами

Что служит причиной неудовлетворенности женщины и как это исправить

Maxim
Современный альфонс: как не попасться на удочку Современный альфонс: как не попасться на удочку

Что делать, чтобы уберечься от альфонса?

Cosmopolitan
Как начать медитировать: лайфхаки для начинающих Как начать медитировать: лайфхаки для начинающих

Какой бывает медитация и есть ли ограничения?

Psychologies
Волшебные пузырьки Волшебные пузырьки

Чтобы игристое вино приносило только радость, учитесь правильно читать этикетку

Добрые советы
Премьера клипа «Космические силы» группы «Мумий Тролль» Премьера клипа «Космические силы» группы «Мумий Тролль»

Можно ли сегодня молчать об экологической обстановке?

СНОБ
Пластичность мозга Пластичность мозга

Потрясающие факты о том, как мысли способны менять структуру и функции мозга

kiozk originals
Романтике быть! Классные идеи для пар со стажем Романтике быть! Классные идеи для пар со стажем

Узнаем, как освежить чувства и вернуть в семейную жизнь яркие моменты

Лиза
Последний фильм Михаила Ефремова Последний фильм Михаила Ефремова

Фильм «Картонная пристань» — пророческий для всей российской грядущей реальности

СНОБ
Великое ухо Великое ухо

Чем славен радиотелескоп Аресибо

N+1
«Игры гормонов» «Игры гормонов»

Отрывок из книги Марти Хейзелтон «Игры гормонов»

N+1
Котлета от Тимати: сколько можно заработать на франшизе Black Star Burger Котлета от Тимати: сколько можно заработать на франшизе Black Star Burger

Как сейчас работает Black Star Burger и можно ли заработать на этой франшизе?

Forbes
Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody

Одиннадцатая тренировка из цикла Rebbot: кардиопрограмма

Maxim
Что такое edge computing и почему все внезапно заговорили о «туманных вычислениях» Что такое edge computing и почему все внезапно заговорили о «туманных вычислениях»

И стало облако туманом

Maxim
Несколько страниц из жизни… пня Несколько страниц из жизни… пня

Пень многолик. Присмотримся к нему повнимательнее

Наука и жизнь
Авто года 2020 Авто года 2020

Торжественный смотр самых значимых достижений автопрома за минувшие 366 дней

GQ
Генная терапия предотвратила слепоту у мышей с глаукомой Генная терапия предотвратила слепоту у мышей с глаукомой

Раньше это заболевание поддавалось лишь паллиативному лечению

N+1
Снежная королева Снежная королева

Зимой нашей коже требуется особый уход. Тогда она останется нежной и мягкой

Лиза
Плащ «казак» мушкетёров короля Плащ «казак» мушкетёров короля

Одежда, по которой мы узнаём королевских мушкетёров в фильмах

Дилетант
Писатели и мода. Часть 2 Писатели и мода. Часть 2

Что Владимир Маяковский считал «самым красивым в человеке»?

Культура.РФ
Правила жизни Роберто Кавалли Правила жизни Роберто Кавалли

Правила жизни основателя бренда Roberto Cavalli

Esquire
Марго Робби Марго Робби

Ни одна из голливудских актрис не будоражит наши чувства так, как Марго Робби

Playboy
Бизнес и благотворительность: Дапкунайте, Алешковский, Хаматова, Яновский и другие представители НКО и бизнеса на круглом столе Forbes Life Бизнес и благотворительность: Дапкунайте, Алешковский, Хаматова, Яновский и другие представители НКО и бизнеса на круглом столе Forbes Life

Как бизнесу и НКО найти общий язык и вместе сделать нашу страну немного лучше

Forbes
Рождение супердержавы Рождение супердержавы

Всего за сто лет Литва стала крупнейшим государством Европы

Дилетант
Грубые ошибки с длиной верхней одежды: исправь их, чтобы не выглядеть безвкусно Грубые ошибки с длиной верхней одежды: исправь их, чтобы не выглядеть безвкусно

Рассказываем обо всех нюансах, связанных с длиной верхней одежды

Cosmopolitan
Все провалы Илона Маска одним списком Все провалы Илона Маска одним списком

Veni, vidi, vici — это точно не про Илона Маска

Maxim
Почему насилия в жизни становится меньше, а на экране — больше, и почему миллениалы нравственнее бебибумеров Почему насилия в жизни становится меньше, а на экране — больше, и почему миллениалы нравственнее бебибумеров

Отрывок из книги Стивена Пинкера «Лучшее в нас»

Inc.
Открыть в приложении