Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Посчитаны риски 175 возможных последствий для здоровья при приеме агонистов ГПП-1 Посчитаны риски 175 возможных последствий для здоровья при приеме агонистов ГПП-1

175 последствий для здоровья при терапии агонистами ГПП-1

N+1
От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог

Почему Елена Блиновская так бесславно закончила свои сверхприбыльные марафоны?

VOICE
Как работают U-образные двигатели: да-да, вы прочитали правильно, это буква U Как работают U-образные двигатели: да-да, вы прочитали правильно, это буква U

Какие необычные моторы на U-образной конфигурации изобрели инженеры?

ТехИнсайдер
Кто такая Джин Кэрролл, которая обвинила Дональда Трампа в изнасиловании и выиграла суд? Кто такая Джин Кэрролл, которая обвинила Дональда Трампа в изнасиловании и выиграла суд?

Кто такая Джин Кэрролл и почему решила потягаться с бывшим президентом США

Maxim
5 психологических терминов, которые пока не перевели на русский язык 5 психологических терминов, которые пока не перевели на русский язык

Пять психологических терминов из англоязычного интернета

РБК
«Мне повезло, что я остался жив»: Дольф Лундгрен впервые рассказал о тяжелой борьбе с онкологией «Мне повезло, что я остался жив»: Дольф Лундгрен впервые рассказал о тяжелой борьбе с онкологией

Дольф Лундгрен поделился шокирующими откровениями о своем здоровье

VOICE
Как гражданину России разблокировать активы в Credit Suisse Как гражданину России разблокировать активы в Credit Suisse

На этапе нашей работы с банком Credit Suisse мы выбрали стратегию защиты клиента

Forbes
Почему сносят диковинный Дом Советов в Калининграде Почему сносят диковинный Дом Советов в Калининграде

Печальная история уникального здания, которое похоже на голову робота

Maxim
Нескучный сад: как устроена работа крупнейшего в Европе цветочного парка Нескучный сад: как устроена работа крупнейшего в Европе цветочного парка

Андре Бейк рассказал, как стал садовником в парке цветов Кёкенхоф в Лиссе

Вокруг света
Перестаньте это делать! Эксперимент показал негативные последствия ночных перекусов Перестаньте это делать! Эксперимент показал негативные последствия ночных перекусов

С помощью небольшого эксперимента ученые доказали вред приема пищи поздно ночью

ТехИнсайдер
Вернуть себе силы Вернуть себе силы

О чем нам стоит знать, чтобы справиться с проживанием печали и страданий?

Psychologies
Как переделать старый «Мерседес» в новый? Как переделать старый «Мерседес» в новый?

Несколько интересных переделок Mercedes

ТехИнсайдер
Как на самом деле женщины и мужчины относятся к браку: ожидания, страхи и приоритеты — объяснение психологов Как на самом деле женщины и мужчины относятся к браку: ожидания, страхи и приоритеты — объяснение психологов

Почему даже счастливые браки рушатся из-за досадного недопонимания?

Psychologies
10 вещей, которые ни в коем случае нельзя хранить на подоконнике 10 вещей, которые ни в коем случае нельзя хранить на подоконнике

Можно ли использовать подоконник «полкой» для хранения вещей?

ТехИнсайдер
Царское это дело Царское это дело

Кем работали до замужества жены принцев и королей

Лиза
Помпон, пампон или бумбон: зачем вообще придумали крепить его к шапками? Помпон, пампон или бумбон: зачем вообще придумали крепить его к шапками?

Думаете, что игривый помпончик из ниток на шапке придумали ради моды?

ТехИнсайдер
Что защищает медведей от тромбоза вен и как это может помочь человеку Что защищает медведей от тромбоза вен и как это может помочь человеку

Как медики планируют подсмотреть у медведей "профилактику" тромбоза вен?

СНОБ
Семь смертельно опасных ситуаций, в которых космонавтам чудом удалось выжить Семь смертельно опасных ситуаций, в которых космонавтам чудом удалось выжить

Смертельная опасность — обычное дело в космонавтике

Maxim
Электрические и магнитные свойства нейтрона измерили по отдельности Электрические и магнитные свойства нейтрона измерили по отдельности

Об измерении электрического и магнитного форм-факторов нейтрона по отдельности

N+1
Деревья помнят: как историки засекли викингов в Америке и поможет ли это добраться до фараонов? Деревья помнят: как историки засекли викингов в Америке и поможет ли это добраться до фараонов?

Устанавливать даты можно не только по письменным источникам

Вокруг света
Утопия восьмибитного глобализма Утопия восьмибитного глобализма

«Тетрис» и виртуальная реальность СССР

Weekend
«Я ничего не успеваю»: что такое синдром Белого Кролика и как от него избавиться «Я ничего не успеваю»: что такое синдром Белого Кролика и как от него избавиться

Ты всегда спешишь, но все равно постоянно отстаешь от жизненного графика?

VOICE
Нетревожные отношения с едой (и с собой): 5 важных советов нутрициолога Нетревожные отношения с едой (и с собой): 5 важных советов нутрициолога

Как изменить пищевые привычки? Подглядываем советы у нутрициолога

Psychologies
Зоологи выпустили больше пяти тысяч редких улиток в леса Французской Полинезии Зоологи выпустили больше пяти тысяч редких улиток в леса Французской Полинезии

Зоологи выпустили в леса больше пяти тысяч выведенных в неволе улиток-партул

N+1
Секс втроем: как мужчины и женщины относятся к популярной фантазии — ответ психоаналитика Секс втроем: как мужчины и женщины относятся к популярной фантазии — ответ психоаналитика

Правда ли только мужчины мечтают попробовать удовлетворить сразу двух партнеров?

Psychologies
Быть или не быть, или о судьбе бумажных библиотек Быть или не быть, или о судьбе бумажных библиотек

Цифровизация не уменьшает, а только меняет ценность настоящих книг

Наука
Зоя Богуславская: «Портреты эпохи: Андрей Вознесенский, Владимир Высоцкий, Юрий Любимов...» Зоя Богуславская: «Портреты эпохи: Андрей Вознесенский, Владимир Высоцкий, Юрий Любимов...»

Фрагмент главы из книги «Портреты эпохи» Зои Богуславской

СНОБ
Между быком и леопардом Между быком и леопардом

Находка, не укладывающаяся в представления об истории цивилизации

Наука
Томат, авокадо и гранат: 13 антивозрастных продуктов — включите в рацион Томат, авокадо и гранат: 13 антивозрастных продуктов — включите в рацион

Хотите, чтобы никто не догадался, сколько вам лет, без пластической операции?

Psychologies
«Посмотрите правде в глаза»: что делать, если вы сожалеете о разводе — мнение психологов «Посмотрите правде в глаза»: что делать, если вы сожалеете о разводе — мнение психологов

Почему мы неожиданно начинаем скучать по бывшим партнерам?

Psychologies
Открыть в приложении