Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тропические болота нивелировали успехи арктических в поглощении углерода Тропические болота нивелировали успехи арктических в поглощении углерода

Почему снижается продуктивность болот, поглощающих углерод

N+1
Рабочий скот науки: как лабораторные животные спасают жизни людей Рабочий скот науки: как лабораторные животные спасают жизни людей

Почему так необходимы исследования на животных?

Вокруг света
Почему беспроводные наушники быстро разряжаются Почему беспроводные наушники быстро разряжаются

Причины, по которым беспроводные наушники быстро разряжаются

CHIP
Я пью КОК, и это многое меняет Я пью КОК, и это многое меняет

Современные препараты КОК позволяют повлиять на качество женской жизни

Новый очаг
Субмарининг в отношениях: когда партнер исчезает и появляется как подводная лодка Субмарининг в отношениях: когда партнер исчезает и появляется как подводная лодка

Субмарининг: что это такое и почему люди так себя ведут?

VOICE
Чтобы она улыбалась Чтобы она улыбалась

Что делать ребенку, если учеба превратилась в желание понравиться учительнице

СНОБ
Отказ от «механики» и личное шоссе. Тина Тёрнер и любовь к машинам Отказ от «механики» и личное шоссе. Тина Тёрнер и любовь к машинам

Главные факты «автомобильной» биографии артистки Тины Тёрнер

РБК
Алексей Иорш Алексей Иорш

Алексей Иорш занимается живописью, графикой, стрит-артом и поднимает важные темы

Правила жизни
«Убывающий мир» «Убывающий мир»

Отрывок из книги «Убывающий мир» Алексея Конакова

N+1
Лучшие лайфхаки для дома и не только: 7 удивительных применений суперклея Лучшие лайфхаки для дома и не только: 7 удивительных применений суперклея

Некоторые лайфхаки могут показаться вам странными, однако они правда работают!

ТехИнсайдер
Софья Лебедева: «Это и есть самый сок и самая суть — быть собой» Софья Лебедева: «Это и есть самый сок и самая суть — быть собой»

У нас разные бэкграунд, язык и культура, но по сути своей мы все похожи

Караван историй
Путешествие по Москве: маршрут от Музея транспорта Путешествие по Москве: маршрут от Музея транспорта

Музей Транспорта Москвы разработал специальный маршрут по Москве

Культура.РФ
Закон Парето, или правило 80/20: как достигать большего при минимальных усилиях Закон Парето, или правило 80/20: как достигать большего при минимальных усилиях

Как работает принцип Парето на практике и почему усердие не всегда окупается?

Forbes
Права на мотоцикл: что надо знать для получения категории «А» Права на мотоцикл: что надо знать для получения категории «А»

Что нужно, чтобы стать мотоциклистом?

РБК
Наталия Деянова, Systeme Electric: Логотип — это только вершина айсберга Наталия Деянова, Systeme Electric: Логотип — это только вершина айсберга

Как преемникам уходящих с рынка компаний грамотно провести трансформацию бренда

СНОБ
Подружки Милагрос и девушки Иво: как изменились второстепенные актеры сериала Подружки Милагрос и девушки Иво: как изменились второстепенные актеры сериала

Что стало с актерами сериала "Дикий ангел"?

VOICE
Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри» Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри»

О том, почему возвращение Деппа на экран нельзя назвать удачным

СНОБ
Коллекция воспоминаний Коллекция воспоминаний

Современный интерьер для любителя искусства от дизайнера Александра Кононенко

SALON-Interior
Черная мамба: реальные факты о самой опасной змее на свете Черная мамба: реальные факты о самой опасной змее на свете

Как много вы знаете о черной мамбе?

ТехИнсайдер
Геологи посчитали глобальную толщину и плотность коры Марса Геологи посчитали глобальную толщину и плотность коры Марса

В среднем марсианская кора намного толще земной или лунной

ТехИнсайдер
Наталия Кустинская: Почему Гайдай снял ее с роли в «Кавказской пленнице» Наталия Кустинская: Почему Гайдай снял ее с роли в «Кавказской пленнице»

Наталия Кустинская очень старалась быть образцовой женой

Караван историй
Пусть утро будет добрым! 5 вещей, которые надо сделать до 9 часов Пусть утро будет добрым! 5 вещей, которые надо сделать до 9 часов

Хочешь добиться успеха в делах? Начинай день правильно

Лиза
Виктор Сухоруков Виктор Сухоруков

Актер Виктор Сухоруков — о 90-х и сериале «Мир! Дружба! Жвачка!»

Собака.ru
Опубликован первый черновик человеческого пангенома Опубликован первый черновик человеческого пангенома

Консорциум референсного пангенома человека показал результаты своей работы

N+1
Каким советские писатели и журналисты запомнили День Победы Каким советские писатели и журналисты запомнили День Победы

Как окончание войны встретили русские писатели и военные корреспонденты

СНОБ
5 признаков того, что вы находитесь в созависимых отношениях 5 признаков того, что вы находитесь в созависимых отношениях

Какие признаки созависимых отношений бывают и можно ли с этим справиться?

Psychologies
«Я причинил боль жене и детям»: Арнольд Шварценеггер пожалел об измене Марии Шрайвер с домработницей «Я причинил боль жене и детям»: Арнольд Шварценеггер пожалел об измене Марии Шрайвер с домработницей

Арнольд Шварценеггер до сих пор чувствует вину перед 67-летней бывшей женой

VOICE
Как изменились цены на популярные автомобили в России. Список Как изменились цены на популярные автомобили в России. Список

Как изменились цены самых популярных автомобилей на российском рынке

РБК
Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях

Как избавиться от последствий комариного укуса?

ТехИнсайдер
Одиночество не приговор: 3 шага, чтобы выстроить счастливые отношения Одиночество не приговор: 3 шага, чтобы выстроить счастливые отношения

Как стать счастливее, правильно выстраивая социальные связи

Psychologies
Открыть в приложении