Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дофаминовое голодание: панацея от повседневных зависимостей или упорная работа над собой Дофаминовое голодание: панацея от повседневных зависимостей или упорная работа над собой

Сейчас люди нередко обращаются к дофаминовому голоданию

Популярная механика
Обсуждение: нанимать разработчиков теперь ещё сложнее и дороже — на рынок пришли иностранные компании Обсуждение: нанимать разработчиков теперь ещё сложнее и дороже — на рынок пришли иностранные компании

Скоро закроется много неэффективных компаний

VC.RU
Спящий режим и гибернация – в чем разница? Спящий режим и гибернация – в чем разница?

Чем сон ПК отличается от гибернации? Разбираем два режима экономии энергии

CHIP
Запах насилия и полеты носорогов Запах насилия и полеты носорогов

Рассказываем о лауреатах Шнобелевской премии-2021

N+1
ИП или ООО — вот в чем вопрос: какую форму ведения деятельности выбрать МСП ИП или ООО — вот в чем вопрос: какую форму ведения деятельности выбрать МСП

ИП и ООО: чем отличаются и какая форма ведения бизнеса подойдет именно вам?

Inc.
В бирманском янтаре обнаружили паучиху с яйцевым коконом и паучат В бирманском янтаре обнаружили паучиху с яйцевым коконом и паучат

Ученые обнаружили древнейшее свидетельство заботы пауков о потомстве

N+1
Недельные отпуска «чтобы не увольняться» не помогают, а только усиливают стресс сотрудников Недельные отпуска «чтобы не увольняться» не помогают, а только усиливают стресс сотрудников

Как справляться с выгоранием сотрудников?

VC.RU
Основной инстинкт Основной инстинкт

Crossfit за пару десятков лет приобрел миллионы поклонников по всему миру

Playboy
Пни радио Пни радио

Стив Мартин и Мартин Шорт в «Убийствах в одном здании»

Weekend
Долго и счастливо: 7 правил выбора партнера на всю жизнь Долго и счастливо: 7 правил выбора партнера на всю жизнь

Как выбрать человека, с которым вы останетесь вместе навсегда?

Cosmopolitan
Открытие. Imanbek Открытие. Imanbek

Imanbek вспоминает, как сделал трек за два часа и получил «Грэмми»

GQ
Врачебная этика vs маркетинг. Как выбрать пластического хирурга и не ошибиться Врачебная этика vs маркетинг. Как выбрать пластического хирурга и не ошибиться

Клиники пластической хирургии живут по законам бизнеса

СНОБ
Совсем запутались Совсем запутались

Праймеры, пасты, кремы, пудра – и все это для волос!

Лиза
«Андрюша» — брат «Катюши»: история реактивного миномета БМ-31 «Андрюша» — брат «Катюши»: история реактивного миномета БМ-31

Ближайший родственник «Катюши» — родной брат, «Андрюша»

Maxim
Эпигенетическую регуляцию в мозге увидели с помощью диеты и МРТ Эпигенетическую регуляцию в мозге увидели с помощью диеты и МРТ

Разработана методика неинвазивной визуализации эпигенетических маркеров в мозге

N+1
Маленький гигант большого фронта. История немецкой самоходки «Хетцер» Маленький гигант большого фронта. История немецкой самоходки «Хетцер»

«Хетцер» — одна из самых грозных немецких самоходок эпохи

Maxim
Самые дурацкие афродизиаки в истории человечества Самые дурацкие афродизиаки в истории человечества

Безумные афродизиаки. Ведь чем страннее, тем волшебнее

Maxim
Современные змеи произошли от шести переживших динозавров групп Современные змеи произошли от шести переживших динозавров групп

После вымирания нептичьих динозавров змеи пережили резкий всплеск разнообразия

N+1
Как топ-менеджер в пандемию стал организатором авторских туров Как топ-менеджер в пандемию стал организатором авторских туров

Я уволился и стал с нуля осваивать профессию организатора авторских путешествий

Inc.
Что делать, если муж тратит все деньги семьи Что делать, если муж тратит все деньги семьи

Как начать формирование совместного бюджета

СНОБ
Ошибки предпринимателей: почему вам не стоит быть, как Илон Маск Ошибки предпринимателей: почему вам не стоит быть, как Илон Маск

С чем сталкивается каждый начинающий предприниматель, после первого успеха

Inc.
Все побежали, и я побежал: почему бег стал так популярен? Все побежали, и я побежал: почему бег стал так популярен?

Почему число бегунов стремительно растет?

Psychologies
Они пели про гранитный камушек и черные глаза: где сегодня артисты одного хита Они пели про гранитный камушек и черные глаза: где сегодня артисты одного хита

Исполнители одного хита. Рассказываем, что стало с артистами спустя годы

Cosmopolitan
С чемоданом по жизни: 7 увлекательных книг о путешествиях и путешественниках С чемоданом по жизни: 7 увлекательных книг о путешествиях и путешественниках

Книги про подлинные путешествия

Популярная механика
Дмитрий Бертман: Дмитрий Бертман:

Режиссер Дмитрий Бертман — о работе в театре, "Геликон-опере" и спектаклях

Караван историй
5 советов Уоррена Баффетта, которые помогут добиться успеха 5 советов Уоррена Баффетта, которые помогут добиться успеха

Советы Баффета, которые будут полезны каждому предпринимателю

Inc.
Эти жуткие дырочки: что такое трипофобия и как ее лечить Эти жуткие дырочки: что такое трипофобия и как ее лечить

Почему мы боимся дырок и нужно ли из-за этого переживать

РБК
Чихать я на тебя хотела! Чихать я на тебя хотела!

Как узнать, есть ли у тебя аллергия на животных? А можно ли ее вылечить?

Cosmopolitan
Сидячие захоронения из Волго-Уралья датировали финалом средней бронзы Сидячие захоронения из Волго-Уралья датировали финалом средней бронзы

Погребения Волго-Уральского региона оставили представители лолинской культуры

N+1
Самцы живущих в суровом климате австралийских грызунов отрастили крупные семенники Самцы живущих в суровом климате австралийских грызунов отрастили крупные семенники

Как грызуны выигрывают конкуренцию во время короткого брачного сезона?

N+1
Открыть в приложении