Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Медоуказчики привели людей к змеям по ошибке Медоуказчики привели людей к змеям по ошибке

Орнитологи выяснили, почему большие медоуказчики иногда направляют людей к змеям

N+1
Ностальгия по СССР: как менялось отношение россиян к распаду Советского Союза Ностальгия по СССР: как менялось отношение россиян к распаду Советского Союза

О том, почему ностальгия по СССР усиливается с годами

Forbes
DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки

Как изменился ландшафт DDoS и что этому способствовало

Forbes
История Валентина Юдашкина и его жены Марины: быстрый брак и вечная любовь История Валентина Юдашкина и его жены Марины: быстрый брак и вечная любовь

История Валентина Юдашкина и его жены Марины: пример любви и верности

VOICE
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Дело вкуса: как формируются и почему меняются предпочтения в еде — объяснение нутрициолога Дело вкуса: как формируются и почему меняются предпочтения в еде — объяснение нутрициолога

Вкусовые предпочтения меняются со временем. Но с чем это может быть связано?

Psychologies
Нас не проведешь Нас не проведешь

Как без медицинского образования оценить рекомендации врача?

Лиза
Вина и зрелищ Вина и зрелищ

Винодельня-театр на вилле римского императора

N+1
Снимок Деймоса — спутника Марса — впервые сделан в высоком разрешении Снимок Деймоса — спутника Марса — впервые сделан в высоком разрешении

Космический зонд Hope сделал первые снимки высокого разрешения Деймоса

ТехИнсайдер
«Возвращение в Сеул»: как разрыв связи с родиной ведет к потере идентичности «Возвращение в Сеул»: как разрыв связи с родиной ведет к потере идентичности

«Возвращение в Сеул» вскрывает межпоколенческие травмы и ищет пути их излечения

Forbes
Если бы не цена... Пятое поколение Toyota RAV4 Если бы не цена... Пятое поколение Toyota RAV4

Ездить на Toyota RAV4 — это управлять мечтой

4x4 Club
«Че ты такой серьезный?»: как одевали разных Джокеров в кино «Че ты такой серьезный?»: как одевали разных Джокеров в кино

Вспоминаем воплощения Джокера на экране: как создавались его яркие костюмы

Правила жизни
Как понять, глубокий ли ты человек, — комментарий гештальт-терапевта Как понять, глубокий ли ты человек, — комментарий гештальт-терапевта

Чем же глубокий человек отличается от других? И отличается ли?

Psychologies
Хозяева чащи Хозяева чащи

Итак, кого же можно назвать хозяевами джунглей?

Вокруг света
Исследование: женщины все чаще опережают мужей по зарплате и больше занимаются домом Исследование: женщины все чаще опережают мужей по зарплате и больше занимаются домом

Женщины все чаще становятся основными кормильцами в семье

Forbes
Не муза, а художница: женщины в искусстве на рубеже ХIХ–ХХ веков Не муза, а художница: женщины в искусстве на рубеже ХIХ–ХХ веков

Отрывок из книги «Ее жизнь в искусстве» о художницах в XIX-XX веке

Forbes
В России снова начались продажи машин Iran Khodro. Цены и подробности В России снова начались продажи машин Iran Khodro. Цены и подробности

Первые продажи иранских машин по параллельному импорту стартовали в России

РБК
Поранились или пошла кровь из носа? Эти способы помогут быстро остановить кровотечение Поранились или пошла кровь из носа? Эти способы помогут быстро остановить кровотечение

Как остановить кровь с помощью подручных средств и правильно обработать рану

ТехИнсайдер
Нарушения нервно-психического развития повысили риск рака яичек Нарушения нервно-психического развития повысили риск рака яичек

В развитии рака яичек виноваты СДВГ и интеллектуальные нарушения

N+1
Предвестники жизни Предвестники жизни

На астероиде Рюгу найден компонент РНК

Наука
«Не можешь купить бриллианты, стекло не надевай», — говорила Людмила Зыкина «Не можешь купить бриллианты, стекло не надевай», — говорила Людмила Зыкина

Бедная деревенская девочка может достигнуть всего!

Коллекция. Караван историй
Эффект плато Эффект плато

6 причин, из-за которых вес стоит на месте, и как это исправить

Лиза
Дом барса Дом барса

На высоте более 2000 метров располагается национальный парк «Сайлюгемский»

Вокруг света
На твердой земле: как выбрать безопасный район для покупки недвижимости в Турции На твердой земле: как выбрать безопасный район для покупки недвижимости в Турции

О системе страхования в Турции и о проверках недвижимость на сейсмоустойчивость

Forbes
Физики создали в лаборатории черную дыру, которая немедленно начала расти Физики создали в лаборатории черную дыру, которая немедленно начала расти

Синтетический аналог черной дыры может рассказать нам кое-что

ТехИнсайдер
Снова запутались волосы? Возможно у вас генетическое заболевание, известное как синдром нерасчесываемых волос Снова запутались волосы? Возможно у вас генетическое заболевание, известное как синдром нерасчесываемых волос

Почему волосы путаются?

ТехИнсайдер
Это было навсегда, пока не кончились персики Это было навсегда, пока не кончились персики

«Земля Алькаррас»: кинороман о каталонских фермерах

Weekend
Завис ноутбук: причины и способы решения проблемы Завис ноутбук: причины и способы решения проблемы

Рассказываем, что делать, если завис ноутбук при включении

CHIP
Большой вес при рождении повысил риск мерцательной аритмии во взрослом возрасте Большой вес при рождении повысил риск мерцательной аритмии во взрослом возрасте

Большой вес при рождении повысил риск мерцательной аритмии во взрослом возрасте

N+1
«Потребителю нужно больше, чем просто товар или услуга». Марина Геворкян и Анна Погосян — о вдохновении и преодолении в бизнесе «Потребителю нужно больше, чем просто товар или услуга». Марина Геворкян и Анна Погосян — о вдохновении и преодолении в бизнесе

Теперь в центре внимания не «герой нашего времени», а героиня

СНОБ
Открыть в приложении