Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как правильно чистить смартфон от загрязнений Как правильно чистить смартфон от загрязнений

Мобильный телефон называют одним из самых загрязнённых предметов в доме

Популярная механика
Не опаснее домашнего: чем реально можно заразиться в общественном туалете Не опаснее домашнего: чем реально можно заразиться в общественном туалете

Нужно ли избегать посещения общественных туалетов?

Cosmopolitan
Трое в лодке: на ком лежит ответственность за кибербезопасность Трое в лодке: на ком лежит ответственность за кибербезопасность

Кто виноват в том, что хакерам удалось провести успешную кибератаку?

Forbes
Остывший фронтир. Почему власти не удается заманить людей на Дальний Восток Остывший фронтир. Почему власти не удается заманить людей на Дальний Восток

Возможно ли спасти Дальний Восток от вымирания?

СНОБ
4 типа пар, в которых женщины изменяют чаще, чем мужчины 4 типа пар, в которых женщины изменяют чаще, чем мужчины

В каких отношениях женщины изменяют чаще всего и почему?

Psychologies
5 героических фактов об истребителе Ла-5 5 героических фактов об истребителе Ла-5

Ла-5: Шедевр или не совсем?

Maxim
«Не беси меня!»: 5 шагов к мирному диалогу с ребенком «Не беси меня!»: 5 шагов к мирному диалогу с ребенком

Можно ли экологично общаться с детьми, когда мы очень сильно злимся на них?

Psychologies
Уважение, доверие, честность Уважение, доверие, честность

Шанс на жизнь по собственному сценарию

ПУСК
Автор «Утраченного Леонардо» — о «Спасителе мира» и бизнесе на картинах Автор «Утраченного Леонардо» — о «Спасителе мира» и бизнесе на картинах

Режиссер Андреас Кефед — об миллиардерах, искусствоведах и арт-дилерах

РБК
Молекулы предложили переводить в хиральную суперпозицию Молекулы предложили переводить в хиральную суперпозицию

Физики описали молекулы в квантовой суперпозиции

N+1
Дочь Пушкина, вышедшая замуж за принца: крутые виражи судьбы Натальи Дубельт Дочь Пушкина, вышедшая замуж за принца: крутые виражи судьбы Натальи Дубельт

Судьба дочери Пушкина

Cosmopolitan
Голливудское гадание румпология: как предсказать судьбу по форме ягодиц Голливудское гадание румпология: как предсказать судьбу по форме ягодиц

Как узнать свое будущее, посмотрев на саму себя ниже пояса

Cosmopolitan
Инопланетяне в пустыне: каким получился десятый сезон Инопланетяне в пустыне: каким получился десятый сезон

Каким получился десятый сезон "Американской истории ужасов"

Esquire
Самые популярные сериалы и фильмы Netflix: официальная статистика Самые популярные сериалы и фильмы Netflix: официальная статистика

Видеосервисы традиционно не любят делиться статистикой просмотров

Maxim
Больше кислорода Больше кислорода

Правила выбора приточного клапана для квартиры

Идеи Вашего Дома
Почему мы живем в эпоху прерванного визуального акта Почему мы живем в эпоху прерванного визуального акта

С годами потребление контента приобрело совершенно новый характер

GQ
Почему Карл Лагерфельд – один из величайших дизайнеров современности? Почему Карл Лагерфельд – один из величайших дизайнеров современности?

Каким был Кайзер мира моды Карл Лагерфельд

GQ
Эволюция женской груди: от палеолитической Венеры до наших дней Эволюция женской груди: от палеолитической Венеры до наших дней

Предлагаем тебе взглянуть на историю человечества с этого ракурса!

Maxim
«Тебе нужно к психологу!»: как уговорить близкого обратиться к специалисту «Тебе нужно к психологу!»: как уговорить близкого обратиться к специалисту

Как уговорить близкого человека, чье состояние нас беспокоит, пойти к психологу

Psychologies
Смена работы и рождение дочери: 7 событий, которые приводят к разводу Смена работы и рождение дочери: 7 событий, которые приводят к разводу

Какие жизненные события увеличивают вероятность развода

Cosmopolitan
«Роскосмос» круче Илона Маска. Объясняем почему «Роскосмос» круче Илона Маска. Объясняем почему

Запомните этот твит: «Роскосмос» жив. «Роскосмос» круче Илона Маска

Inc.
Азбука здоровья Азбука здоровья

Пять мифов о менструации, которые давно пора забыть

Cosmopolitan
Как я осуществила мечту и переехала из Владивостока в Коктебель Как я осуществила мечту и переехала из Владивостока в Коктебель

Наша героиня жила на Дальнем Востоке, при этом ее всегда манила жизнь у моря

Psychologies
Паркет повсюду Паркет повсюду

Особенности деревянных полов для влажных помещений

Идеи Вашего Дома
Ваши отношения с едой Ваши отношения с едой

Как вы обращаетесь с едой и как привести отношения к гармонии?

Домашний Очаг
Подтяжка манекенщицы: новый и простой тренд в пластике, который делает моложе Подтяжка манекенщицы: новый и простой тренд в пластике, который делает моложе

Высокие скулы и объемные губы Анджелины Джоли давно неактуальны!

Cosmopolitan
Упражнения для боков и живота: моделируем силуэт Упражнения для боков и живота: моделируем силуэт

Несколько эффективных упражнений для похудения боков и живота

VOICE
От почтовых голубей до смарт-часов: как развивалась связь От почтовых голубей до смарт-часов: как развивалась связь

Как начиналась история связи?

Популярная механика
Система разгрузочных дней: так ли они эффективны Система разгрузочных дней: так ли они эффективны

Разгрузочные дни – отличный способ держать себя в форме

GQ
5 секретов красоты японок, которые позволят тебе выглядеть моложе 5 секретов красоты японок, которые позволят тебе выглядеть моложе

Выглядеть моложе своего возраста — одна из особенностей азиатской красоты

VOICE
Открыть в приложении