Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Среди отходов древнего Пантикапея распознали окаменелость миоценового тюленя Среди отходов древнего Пантикапея распознали окаменелость миоценового тюленя

Палеозоолог описал ископаемую лопатку миоценового тюленя Cryptophoca maeotica

N+1
Муравьи-листорезы обзавелись обогащенной магнием кальцитовой броней Муравьи-листорезы обзавелись обогащенной магнием кальцитовой броней

Эта броня защищает муравьев-листорезов от муравьев-солдат других видов и грибков

N+1
От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России

Зачем нужна биометрия и как ее использовать в России

ТехИнсайдер
Николь Кидман в полный рост: зачем смотреть сериал «Отыграть назад» Николь Кидман в полный рост: зачем смотреть сериал «Отыграть назад»

Сериал «Отыграть назад» затягивает так, что не оторваться

РБК
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
За спиной отца: чем занимаются дочери первых лиц мира – Путина, Алиева и других За спиной отца: чем занимаются дочери первых лиц мира – Путина, Алиева и других

Чем занимаются наследницы политических лидеров?

Cosmopolitan
Затенение Земли аэрозолями не спасет от потери слоисто-кучевых облаков Затенение Земли аэрозолями не спасет от потери слоисто-кучевых облаков

Затенение Земли с помощью аэрозолей не сможет бороться с глобальным потеплением

N+1
34 фирмы вместо одной: чем закончилось разделение нефтяного бизнеса Рокфеллера после 30 лет монополии 34 фирмы вместо одной: чем закончилось разделение нефтяного бизнеса Рокфеллера после 30 лет монополии

«Дочки» компании Рокфеллера лидируют на рынке нефти до сих пор

VC.RU
Мир викингов и скандинавская мифология: обзор на игру Assassin's Creed: Valhalla Мир викингов и скандинавская мифология: обзор на игру Assassin's Creed: Valhalla

Почему Assassin's Creed: Valhalla это лучшая игра серии за последние годы

Esquire
Стиль принцессы Дианы — «королевы людских сердец», виртуозно владевшей языком моды Стиль принцессы Дианы — «королевы людских сердец», виртуозно владевшей языком моды

Ее называли «королевой людских сердец» и просто «народной принцессой»

Esquire
Человечество Человечество

Обнадеживающая история

kiozk originals
Ожидания и реальность: топ-7 фэйлов в стиле, которые случаются у девушек Ожидания и реальность: топ-7 фэйлов в стиле, которые случаются у девушек

Тренер по стилю Роман Медны объясняет, как не ошибиться, следуя советам по стилю

Cosmopolitan
Адвокат дьяволов Адвокат дьяволов

История адвоката, спасавшего диктаторов и тиранов

GQ
Шон Мендес: «Мне хочется донести до людей, что счастье мое не в статусе, а в музыке» Шон Мендес: «Мне хочется донести до людей, что счастье мое не в статусе, а в музыке»

Шон Мендес рассказал GQ, как перезапустил карьеру и задумался о здоровье психики

GQ
Протрезветь до понедельника Протрезветь до понедельника

Василий Степанов о крепости духа и крепком алкоголе в фильме «Еще по одной»

Weekend
Меняю автомат на беспилотник Меняю автомат на беспилотник

Первое боестолкновение, где решающую роль сыграли беспилотные дроны

Популярная механика
Поддержка бизнеса: Анастасия Татулова Поддержка бизнеса: Анастасия Татулова

Анастасия Татулова — омбудсмен в сфере малого и среднего бизнеса в РФ

Glamour
«В нашей жизни всё спонтанно» «В нашей жизни всё спонтанно»

Блогеры Ольга и Максим Нечаевы: о воспитании дочери и курсе «Голые деньги»

OK!
100 лет красоты: как и почему меняются представления о фигуре 100 лет красоты: как и почему меняются представления о фигуре

Как и почему меняются наши представления о том, что красиво? Экскурс в историю

Cosmopolitan
Какими были смарт-часы в докомпьютерную эпоху: 5 главных моделей ХХ века Какими были смарт-часы в докомпьютерную эпоху: 5 главных моделей ХХ века

Обширное генеалогическое древо Apple Watch

Maxim
Древнейшая жизнь на Земле: биологическая революция Древнейшая жизнь на Земле: биологическая революция

С образования нашей планеты до зарождения первых форм жизни прошло мало времени

Популярная механика
10 эффектных сцен, незаслуженно вырезанных из фильмов 10 эффектных сцен, незаслуженно вырезанных из фильмов

Важные сцены, которые были отправлены в корзину, хотя они помогают понять сюжет

РБК
Праздник к нам приходит Праздник к нам приходит

Светлана Лобода откровенно рассказала о том, как ей удается быть праздником

Cosmopolitan
Сумка за три миллиона и платье из музея: 8 самых необычных нарядов Ким Кардашьян Сумка за три миллиона и платье из музея: 8 самых необычных нарядов Ким Кардашьян

Актриса и бизнесвумен Ким Кардашьян знает толк в красивых вещах

Cosmopolitan
«Большой спорт – это не про здоровье», – интервью с главным хореографом Этери Тутберидзе «Большой спорт – это не про здоровье», – интервью с главным хореографом Этери Тутберидзе

Тренер Этери Тутберидзе о фигурном катании, спортсменах и детях

GQ
Трубы в порядке: как прочистить засор в раковине Трубы в порядке: как прочистить засор в раковине

Устранить засор в раковине самостоятельно совсем не сложно!

Cosmopolitan
4 способа защитить себя от оскорблений 4 способа защитить себя от оскорблений

Как справиться с вербальной агрессией?

Psychologies
Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody

Одиннадцатая тренировка из цикла Rebbot: кардиопрограмма

Maxim
«Никогда не принимайте важных решений, если в обсуждении не участвует женщина»: уроки от миллиардера Леонарда Лаудера «Никогда не принимайте важных решений, если в обсуждении не участвует женщина»: уроки от миллиардера Леонарда Лаудера

Отрывок из руководства для начинающих предпринимателей Леонарда Лаудера

Forbes
Алкогений: Петр Мамонов Алкогений: Петр Мамонов

Хмурым утром у ларька с пивом очередь расступалась, завидя Мамонова в пиджаке

Maxim
Открыть в приложении