Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как понять женщину: 5 книг, которые помогут разобраться в устройстве женской психологии Как понять женщину: 5 книг, которые помогут разобраться в устройстве женской психологии

Книги, которые помогут погрузиться во внутренний мир женщины и лучше понять его

Популярная механика
Ламинария – суперфуд Ламинария – суперфуд

Ламинария – бурая морская водоросль, богатый источник йода и цинка и еще кое-что

Здоровье
На шаг ближе к колонизации: как искусственный интеллект помогает NASA изучать Марс На шаг ближе к колонизации: как искусственный интеллект помогает NASA изучать Марс

О том, как ИИ помогает исследовать Марс, и приведет ли он нас к прорыву

ТехИнсайдер
Еще 10 самых интересных фильмов и сериалов о войне в Афганистане Еще 10 самых интересных фильмов и сериалов о войне в Афганистане

Подборка кинокартин про бесконечную войну в небольшой стране Южной Азии

Maxim
Астероидные кольца, сила гравитации и сжатие звездного облака: откуда взялась Луна Астероидные кольца, сила гравитации и сжатие звездного облака: откуда взялась Луна

Почему ни одна из гипотез не может объяснить, как на самом деле «родилась» Луна

Maxim
Как понять, что у вас токсичные друзья Как понять, что у вас токсичные друзья

Несколько признаков людей, общения с которыми стоит избегать

Psychologies
В бой идет один сталинист В бой идет один сталинист

Как Всеволод Кочетов пытался спасти советскую культуру, но обнаружил пустоту

Weekend
«Я приму внебрачных детей бывшего мужа»: Анфиса Чехова рассказала о личной жизни «Я приму внебрачных детей бывшего мужа»: Анфиса Чехова рассказала о личной жизни

Анфиса Чехова рассказала об отношениях с мужчинами

Cosmopolitan
5 ритуалов совершеннолетия в Древнем мире 5 ритуалов совершеннолетия в Древнем мире

Совершеннолетие в Древнем Риме, Спарте, Китае, у ацтеков и викингов

Maxim
Бывший университетский журнал обошёл Forbes по выручке: как Harvard Business Review стал большим медиа Бывший университетский журнал обошёл Forbes по выручке: как Harvard Business Review стал большим медиа

Harvard Business Review: разбираем бизнес с «вечными темами»

VC.RU
Квантовая теория против гравитации: неужели они в самом деле так отличаются? Квантовая теория против гравитации: неужели они в самом деле так отличаются?

Как примирить два противоречивых столпа современной физики?

Популярная механика
5 признаков опытного манипулятора 5 признаков опытного манипулятора

Моменты, которые могли бы вас насторожить и предостеречь: рядом манипулятор

Psychologies
«Он никогда не строил из себя героя». Экскурсия Льва Лурье по адресам Довлатова в Петербурге «Он никогда не строил из себя героя». Экскурсия Льва Лурье по адресам Довлатова в Петербурге

Лев Лурье провел экскурсию по адресам Довлатова в Ленинграде

СНОБ
Что такое гипомания и зачем лечить от счастья Что такое гипомания и зачем лечить от счастья

Что такое гипомания и когда стоит насторожиться?

РБК
«Никогда не делайте все сами»: интервью с автором «Стоицизма 2.0» Массимо Пильюччи «Никогда не делайте все сами»: интервью с автором «Стоицизма 2.0» Массимо Пильюччи

Массимо Пильюччи — как быть более справедливым, смелым и добрым

Forbes
Аэропорт и интернет: 5 городов, которые развиваются благодаря онлайн-сервисам и авиасообщению Аэропорт и интернет: 5 городов, которые развиваются благодаря онлайн-сервисам и авиасообщению

Можно жить и работать где угодно, лишь бы в этой точке на земле был интернет

Популярная механика
«Инквизиторы все равно настигнут свою жертву». Отрывок из книги Маркоса Агиниса «Инквизиторы все равно настигнут свою жертву». Отрывок из книги Маркоса Агиниса

Фрагмент из книги «Житие Маррана» о Франсиско Мальдонадо да Сильве

СНОБ
«Лучше точно не будет». Как мы искали машину без наценок и не нашли «Лучше точно не будет». Как мы искали машину без наценок и не нашли

Что происходит с ценами на новые машины и когда все это закончится?

РБК
«Обидеть Довлатова легко, понять — трудно». Сергей Довлатов: от А до Я «Обидеть Довлатова легко, понять — трудно». Сергей Довлатов: от А до Я

Арен Ванян разложил судьбу и творчество Сергея Довлатова по алфавиту

Esquire
Потеря беременности: почему об этом нужно говорить Потеря беременности: почему об этом нужно говорить

Чтобы пережить горе потери беременности, нужно говорить о своих переживаниях

Psychologies
Популярные нарушения в городе, за которые лишают прав. Подробности Популярные нарушения в городе, за которые лишают прав. Подробности

Нарушения автомобилистов, которые могут привести к лишению прав

РБК
Родила пятерых – и такая фигура! Самые откровенные образы Натальи Водяновой Родила пятерых – и такая фигура! Самые откровенные образы Натальи Водяновой

Наталья Водянова мало изменилась с юности и позволяет себе провокационные образы

VOICE
Елена Борщева. Авантюристка Елена Борщева. Авантюристка

Елена Борщева: дерево, дом, ребенок, у меня все зашибись!

Коллекция. Караван историй
Алла Демидова. Несокрушимая и легендарная. В новом фильме Любови Аркус «Кто тебя победил никто» Алла Демидова. Несокрушимая и легендарная. В новом фильме Любови Аркус «Кто тебя победил никто»

«Кто тебя победил никто» — этого фильма не должно было быть

СНОБ
О человеке, о войне и о любви: фильмы и сериалы осени 2021 года О человеке, о войне и о любви: фильмы и сериалы осени 2021 года

Отечественные картины, часть из которых уже оценили на зарубежных смотрах

РБК
Предел функции Предел функции

Многоуровневый функциональный интерьер в духе конструктивистских ячеек XX века

AD
Пятиминутный путеводитель по... фейковым новостям Пятиминутный путеводитель по... фейковым новостям

Лучшие фейки событий и теорий заговоров, мистических тварей и личностей

Esquire
В Google назвали 9 моделей поведения эффективного лидера В Google назвали 9 моделей поведения эффективного лидера

Что должны делать по-настоящему эффективные люди

Inc.
Кольцо просвещения: зачем России начинают строить крупнейшую рентгеновскую установку Кольцо просвещения: зачем России начинают строить крупнейшую рентгеновскую установку

СКИФ — источник рентгеновских лучей, обещает стать основой для новых открытий

Forbes
Каждый волен быть тем, кто он есть Каждый волен быть тем, кто он есть

Собеседник – режиссёр Алан Бадоев

Playboy
Открыть в приложении