Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Американские врачи выполнили первую в мире пересадку мочевого пузыря Американские врачи выполнили первую в мире пересадку мочевого пузыря

Хирурги впервые в мире пересадили пациенту мочевой пузырь от мертвого донора

N+1
«Окно Джохари» и еще 10 способов раскрыть свои таланты «Окно Джохари» и еще 10 способов раскрыть свои таланты

Предлагаем вам провести блиц-самоанализ и узнать о своих талантах

Psychologies
Не работает тачпад на ноутбуке: причины и способы решения проблемы Не работает тачпад на ноутбуке: причины и способы решения проблемы

Что делать, если перестал работать тачпад на ноутбуке с Windows

CHIP
Толщина женской коры мозга оказалась меньше мужской в странах с гендерным неравенством Толщина женской коры мозга оказалась меньше мужской в странах с гендерным неравенством

Как гендерное неравенство сказывается на человеческом мозге?

N+1
Мошенники усложнили схемы Мошенники усложнили схемы

Мошенники придумали новую схему обмана с «выплатами» в евро

Ведомости
Городские точки притяжения: посмотрите на 10 самых больших площадей России Городские точки притяжения: посмотрите на 10 самых больших площадей России

Площади зачастую формируют облик городов и представления туристов о них

Вокруг света
Ретроградный Меркурий: что это значит — 4 главных вопроса психологам Ретроградный Меркурий: что это значит — 4 главных вопроса психологам

О том, почему феномен ретроградного Меркурия стал таким популярным

Psychologies
Как Солнце защищает Землю от галактических космических лучей Как Солнце защищает Землю от галактических космических лучей

Солнце не только источник энергии для Земли, но и ее защитник

ТехИнсайдер
Русский дом Русский дом

Основательница ludi_architects и владелец CUBE X познакомились на выставке

Собака.ru
Нейроны мышей почувствовали ультразвук механочувствительными ионными каналами Нейроны мышей почувствовали ультразвук механочувствительными ионными каналами

Мозг «чувствует» ультразвук низкой интенсивности

N+1
Научная тактика, чтобы вычислить врут ли вам. Узнайте лжеца! Научная тактика, чтобы вычислить врут ли вам. Узнайте лжеца!

Чтобы распознать лжеца, нужно обратить внимание на детализацию его истории

ТехИнсайдер
Зоологи выпустили больше пяти тысяч редких улиток в леса Французской Полинезии Зоологи выпустили больше пяти тысяч редких улиток в леса Французской Полинезии

Зоологи выпустили в леса больше пяти тысяч выведенных в неволе улиток-партул

N+1
Дом барса Дом барса

На высоте более 2000 метров располагается национальный парк «Сайлюгемский»

Вокруг света
Как быстро и надежно удалить историю в браузере: сетевые хитрости Как быстро и надежно удалить историю в браузере: сетевые хитрости

Как очистить историю браузера в пару кликов?

ТехИнсайдер
ABBA. Чем известна шведская поп-группа ABBA. Чем известна шведская поп-группа

Как ABBA завоевала всемирную известность?

СНОБ
Пересадка кишечной микробиоты оказалась эффективнее антибиотиков при лечении колита Пересадка кишечной микробиоты оказалась эффективнее антибиотиков при лечении колита

Пересадка кишечной микробиоты помогла при рецидивах клостридиальной инфекции

N+1
Это Katarsis Это Katarsis

Бюро Katarsis оказалось одной из самых заметных молодых архитектурных команд

Собака.ru
Энергия искусства Энергия искусства

Смелое и современное прочтение ар–деко

SALON-Interior
Что (не) помогло мне после расставания: история читательницы и мнение психолога Что (не) помогло мне после расставания: история читательницы и мнение психолога

Наша читательница делится своими способами пережить расставание

Psychologies
Родители думали, что 14-летняя Наташа стала жертвой киллера. Но она скрывалась у своего парня Родители думали, что 14-летняя Наташа стала жертвой киллера. Но она скрывалась у своего парня

Все считали, что девочка пострадала от рук киллера, но на суде открылась правда

ТехИнсайдер
Отказ системы: история роботов и андроидов в литературе Отказ системы: история роботов и андроидов в литературе

Как роботы, андроиды и ИИ появились в художественной литературе

Правила жизни
На грани: как себя вести, если у близкого человека пограничное расстройство личности? На грани: как себя вести, если у близкого человека пограничное расстройство личности?

Что же делать, если у нашего родного ПРЛ, и как позаботиться о себе?

Psychologies
Одна вокруг света: пустынная дорога к последнему морю Одна вокруг света: пустынная дорога к последнему морю

215-я серия о кругосветном путешествии Ирины Сидоренко: пингвины Патагонии

Forbes
Ждули: почему российские женщины выходят замуж за заключенных Ждули: почему российские женщины выходят замуж за заключенных

Ждули: разбираемся в истоках феномена и объясняем, при чем тут стереотипы

Forbes
«Че ты такой серьезный?»: как одевали разных Джокеров в кино «Че ты такой серьезный?»: как одевали разных Джокеров в кино

Вспоминаем воплощения Джокера на экране: как создавались его яркие костюмы

Правила жизни
«Не скользнуть в бездну» «Не скользнуть в бездну»

Судьба атамана Бориса Анненкова как зеркало Гражданской войны

Дилетант
Топ маршрутов на майские Топ маршрутов на майские

Города в нескольких часах езды от Москвы

Лиза
Снотворное понизило содержание тау-белка и бета-амилоида в ликворе здоровых людей Снотворное понизило содержание тау-белка и бета-амилоида в ликворе здоровых людей

Прием снотворного может снижать уровень ключевых белков болезни Альцгеймера

N+1
Как снять машину с учета: подробная инструкция Как снять машину с учета: подробная инструкция

Бывают ситуации, когда нужно снять машину с учета. Подробная инструкция

РБК
Зачем нужен тоник: вся правда о самом недооцененном бьюти-средстве Зачем нужен тоник: вся правда о самом недооцененном бьюти-средстве

Как выбрать подходящий тоник и использовать его экологично

Правила жизни
Открыть в приложении