Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Вы использовали отбеливатель неправильно: зачем на самом деле нужно это средство Вы использовали отбеливатель неправильно: зачем на самом деле нужно это средство

Как не испортить вещи и привести в порядок потускневшее бельё?

Популярная механика
7 лучших советских фильмов ужасов 7 лучших советских фильмов ужасов

Ламповые хорроры из СССР без скримеров, эффектов и 3D

Maxim
Крымский мост: сколько строили и когда открыли самый длинный мост Европы Крымский мост: сколько строили и когда открыли самый длинный мост Европы

Факты, которые вы не знали о Крымском мосте

РБК
Ледниковый период: 7 проблем со здоровьем, из-за которых ты всё время мерзнешь Ледниковый период: 7 проблем со здоровьем, из-за которых ты всё время мерзнешь

Что делать, если ты все время мерзнешь, и нужно ли идти с этой проблемой к врачу

Cosmopolitan
«Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова «Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова

Каким был путь в искусстве Карла Брюллова и как его показывают в музеях

Forbes
Артем Быстров: «Застрять в отрицательном амплуа я не боюсь» Артем Быстров: «Застрять в отрицательном амплуа я не боюсь»

Актер Артем Быстров, исполнивший роль в новом сериале «Контейнер»

Grazia
«Инквизиторы все равно настигнут свою жертву». Отрывок из книги Маркоса Агиниса «Инквизиторы все равно настигнут свою жертву». Отрывок из книги Маркоса Агиниса

Фрагмент из книги «Житие Маррана» о Франсиско Мальдонадо да Сильве

СНОБ
Не мелочи жизни Не мелочи жизни

Анекдот про «мама сказала: деньги в бидоне» — прошлый век

Vogue
Печальней нет ночного едока… Печальней нет ночного едока…

Как прекратить ночные набеги на холодильник?

Худеем правильно
Чем заняться на Байкале: 6 активностей, которые стоит попробовать на Славном море Чем заняться на Байкале: 6 активностей, которые стоит попробовать на Славном море

Байкал ждет тебя в гости

Playboy
Трудно дышать и нет сил жить: что нужно знать про анемию Трудно дышать и нет сил жить: что нужно знать про анемию

Почему возникает анемия, как она проявляется и чем грозит организму?

Cosmopolitan
Почему быть застенчивым не всегда плохо? Почему быть застенчивым не всегда плохо?

Как скромность, иногда даже излишняя, может стать нашим хорошим другом

Psychologies
Как люди впадают в кому — история футболиста, пролежавшего в ней 39 лет Как люди впадают в кому — история футболиста, пролежавшего в ней 39 лет

Что такое кома и как складывается судьба людей, переживших её?

Популярная механика
Что посмотреть и попробовать в Хакасии. Гид «РБК Стиль» Что посмотреть и попробовать в Хакасии. Гид «РБК Стиль»

Что в Хакассии найдет «немассовый» турист

РБК
Besame mucho! 10 самых красивых испанских актеров — они сводят с ума весь мир Besame mucho! 10 самых красивых испанских актеров — они сводят с ума весь мир

Яркую во всех смыслах подборку испанских актеров

Cosmopolitan
Кетоновая диета для женщин — меню на неделю Кетоновая диета для женщин — меню на неделю

Примерное меню кетоновой диеты на всю неделю для женщин

VOICE
«Муж отдал брату мои сбережения, а семья его защищает» «Муж отдал брату мои сбережения, а семья его защищает»

Когда партнер нарушает денежные договоренности, брак может дать трещину

Psychologies
Замена пластике! Почему всё больше женщин делают татуаж сосков Замена пластике! Почему всё больше женщин делают татуаж сосков

Думаешь татуаж — это только про лицо?

Cosmopolitan
От Maybach с золотом до BMW из вторсырья: 7 необычных концепт-каров От Maybach с золотом до BMW из вторсырья: 7 необычных концепт-каров

Концепт-кары Мюнхенского автосалона

РБК
Дожить до золотой свадьбы: 4 главных правила создания долгих отношений Дожить до золотой свадьбы: 4 главных правила создания долгих отношений

Если вы знаете, чего ждать после медового месяца, то это поможет сохранять союз

Cosmopolitan
В Google назвали 9 моделей поведения эффективного лидера В Google назвали 9 моделей поведения эффективного лидера

Что должны делать по-настоящему эффективные люди

Inc.
Дизель генератор Дизель генератор

Вин Дизель: Жизнь на высоких оборотах

Men’s Health
Сиа, Бен Аффлек, Майли Сайрус: кто признал алкоголизм и смог завязать Сиа, Бен Аффлек, Майли Сайрус: кто признал алкоголизм и смог завязать

Кто из знаменитостей отказался от разрушительной привычки

РБК
Выделиться из потока: как привлечь внимание венчурного инвестора холодным письмом Выделиться из потока: как привлечь внимание венчурного инвестора холодным письмом

На чем нужно заострить внимание инвестора, чтобы выделиться в потоке проектов

Forbes
«Тебе нужно к психологу!»: как уговорить близкого обратиться к специалисту «Тебе нужно к психологу!»: как уговорить близкого обратиться к специалисту

Как уговорить близкого человека, чье состояние нас беспокоит, пойти к психологу

Psychologies
15 горьких истин, которые так сложно признать 15 горьких истин, которые так сложно признать

Честные и горькие истины, которые необходимо проговорить

Psychologies
«Петровы в гриппе» — фильм, который обретает новый смысл теперь, когда Россия закончила выступление и в Венеции, и в Каннах «Петровы в гриппе» — фильм, который обретает новый смысл теперь, когда Россия закончила выступление и в Венеции, и в Каннах

«Петровы в гриппе» — фильм, от которого бросает то в холод, то в жар

Esquire
От флоатинга до сапбординга От флоатинга до сапбординга

Самые эффективные способы борьбы со стрессом

Лиза
Измены, разводы, быт: 6 честных фильмов про любовь Измены, разводы, быт: 6 честных фильмов про любовь

Самые честные фильмы о любви

VOICE
8 последних фотографий знаменитых людей 8 последних фотографий знаменитых людей

Вот восемь случаев, когда человек с фотоаппаратом оставил след в истории

Maxim
Открыть в приложении