Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 рекомендаций, которые помогут контролировать уровень сахара в крови 8 рекомендаций, которые помогут контролировать уровень сахара в крови

Если вы заботитесь о своем здоровье, важно контролировать уровень сахара в крови

Популярная механика
Польские археологи раскопали в славянском поселении редкую серебряную фигурку Польские археологи раскопали в славянском поселении редкую серебряную фигурку

Польские археологи провели раскопки раннесредневекового славянского поселения

N+1
Книга на выходные: как ChatGPT стал самым эффективным копирайтером «Зерокодера» Книга на выходные: как ChatGPT стал самым эффективным копирайтером «Зерокодера»

Отрывок из книги «Искусственный интеллект: путь к новому миру»

Inc.
Детский сад. Как мотивировать и развивать педагогов, чтобы они не выгорали Детский сад. Как мотивировать и развивать педагогов, чтобы они не выгорали

Как обеспечить комфортную обстановку педагогам и почему это важно для детей

СНОБ
8 доказанных наукой привычек, которые действительно повышают интеллект 8 доказанных наукой привычек, которые действительно повышают интеллект

Какие ритуалы стоит добавить в свою рутину, чтобы стать умнее

Maxim
Мамонт, идентичный натуральному. Получится ли у ученых восстановить доисторическое животное Мамонт, идентичный натуральному. Получится ли у ученых восстановить доисторическое животное

В США стартовал очередной проект восстановления шерстистого мамонта

СНОБ
Археологи впервые нашли в Нижнем Приангарье бронзовых птиц раннего железного века Археологи впервые нашли в Нижнем Приангарье бронзовых птиц раннего железного века

Археологи впервые обнаружили орнитоморфные бронзовые фигурки

N+1
Засуха XXII века до нашей эры не изменила хозяйство жителей Месопотамии Засуха XXII века до нашей эры не изменила хозяйство жителей Месопотамии

Засухи XXII столетия до нашей эры не изменила местную хозяйственную систему

N+1
Филипп Янковский – о российском кино, суррогатном материнстве и сложных ролях Филипп Янковский – о российском кино, суррогатном материнстве и сложных ролях

Актер Филипп Янковский — о стриминговых сервисах и своих планах в режиссуре

GQ
Как правильно пить таблетки: большой и подробный гид по приему лекарств Как правильно пить таблетки: большой и подробный гид по приему лекарств

Почему лекарства следует пить строго по инструкции?

Cosmopolitan
4 типа друзей, с которыми пора расстаться 4 типа друзей, с которыми пора расстаться

Как научится расставаться с такими «друзьями»

Psychologies
«Обрусевшие» роллы. Как россияне полюбили японскую кухню «Обрусевшие» роллы. Как россияне полюбили японскую кухню

Какие трансформации пережила японская кухня в России?

СНОБ
Настоящие гиганты: 23 самых больших животных в мире (угадай, кто самый огромный) Настоящие гиганты: 23 самых больших животных в мире (угадай, кто самый огромный)

Список самых длинных и тяжелых обитателей суши и морей

Playboy
Татьяна Борзых: Татьяна Борзых:

Ваня Бортник — это был человек редкой породы и верности

Коллекция. Караван историй
Дмитрий Бертман: Дмитрий Бертман:

Режиссер Дмитрий Бертман — о работе в театре, "Геликон-опере" и спектаклях

Караван историй

Спорим, мы знаем, что ценнее всего для тебя?

Cosmopolitan
Конца света не было, зато были шальные деньги, рост ИТ и появился «индийский аутсорс»: история «ошибки 2000» Конца света не было, зато были шальные деньги, рост ИТ и появился «индийский аутсорс»: история «ошибки 2000»

История «ошибки 2000». Как мир боялся наступления 1 января 2000 года

VC.RU
Проверка на прочность: тест-драйв Chevrolet Camaro 1967 года Проверка на прочность: тест-драйв Chevrolet Camaro 1967 года

Ретромашина, о которой в далеких 1960-х могли мечтать только самые продвинутые

Вокруг света
Чистое место: сауна Чистое место: сауна

Саун в Финляндии больше, чем автомобилей

Вокруг света
Топ-15 самых популярных в России пород собак Топ-15 самых популярных в России пород собак

Породы собак, которые наши с тобой соотечественники чаще всего заводят

Maxim
10 полезных привычек, которые можно сформировать за 66 дней 10 полезных привычек, которые можно сформировать за 66 дней

Эти привычки могут показаться несерьезными, но они приводят к переменам

Psychologies
Построена первая межвузовская квантовая сеть с открытым доступом Построена первая межвузовская квантовая сеть с открытым доступом

Квантовая сеть с открытым доступом объединила университеты в Москве

Популярная механика
Лайхаки для занятий бегом от Риз Уизерспун и Гордона Рамзи Лайхаки для занятий бегом от Риз Уизерспун и Гордона Рамзи

Советы известных людей о том, как они начали бегать и почему не бросили

РБК
Крупнейший застройщик Китая вот-вот обанкротится: чем это грозит мировой экономике Крупнейший застройщик Китая вот-вот обанкротится: чем это грозит мировой экономике

Как Китай может подтолкнуть мир к новом кризису, похожему на кризис 2008 года

Forbes
В древнеегипетском городе Буто нашли коллекцию ритуальных предметов VII–VI веков до нашей эры В древнеегипетском городе Буто нашли коллекцию ритуальных предметов VII–VI веков до нашей эры

Археологи обнаружили предметы, связанные с культом богини Хатхор

N+1
«Казалось, что я в гробу и в крышку молотками заколачивают гвозди». Как была устроена карательная психиатрия в СССР «Казалось, что я в гробу и в крышку молотками заколачивают гвозди». Как была устроена карательная психиатрия в СССР

Отрывок из книги «Девятый круг. Одиссея диссидента в психиатрическом ГУЛАГе»

СНОБ
В Гончарной слободе раскопали коронационный стакан из гутного стекла XVIII века В Гончарной слободе раскопали коронационный стакан из гутного стекла XVIII века

Российские археологи обнаружили более 500 артефактов в Гончарной слободе

N+1
«Просто друг»: почему мы оказываемся во френдзоне и держим в ней воздыхателей? «Просто друг»: почему мы оказываемся во френдзоне и держим в ней воздыхателей?

Как мы попадаем во френдзону и можно ли это изменить?

Psychologies
Миф, труд, Ральф Миф, труд, Ральф

Как Ральфу Лорену удается придумывать новую жизнь для себя уже 50 лет

Harper's Bazaar
Астрономы рассказали, где искать таинственную Девятую планету Астрономы рассказали, где искать таинственную Девятую планету

Предполагаемая Девятая планета скрывается на внешнем краю Солнечной системы

Популярная механика
Открыть в приложении