Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Породы собак, которые хорошо ладят с детьми Породы собак, которые хорошо ладят с детьми

Какую породу собак из сотен доступных принять в свою семью?

ТехИнсайдер
Реинкарнация Реинкарнация

Разглядываем тело и душу моторной яхты Fairline Squadron 58

Y Magazine
Драйверы от Windows или фирменные: что лучше Драйверы от Windows или фирменные: что лучше

Стоит ли устанавливать фирменные драйверы или можно ограничиться встроенными

CHIP
Для осознанного восприятия необходимо сосредоточить внимание Для осознанного восприятия необходимо сосредоточить внимание

Нейробиологи исследовали процессы концентрации внимания

ТехИнсайдер
Топ-5 орехов против старения Топ-5 орехов против старения

Могут ли орехи улучшить ваше самочувствие и продлить молодость?

ТехИнсайдер
Рубль с дополнениями: к чему может привести оцифровка российской валюты Рубль с дополнениями: к чему может привести оцифровка российской валюты

При использовании цифрового рубля может возникнуть ряд проблем

Forbes
Как появилась традиция кричать молодоженам «Горько!»? Как появилась традиция кричать молодоженам «Горько!»?

Разбираемся в славянских брачных обрядах

Культура.РФ
Как без труда удалить шерсть домашних животных с одежды, ковра и мебели Как без труда удалить шерсть домашних животных с одежды, ковра и мебели

Делимся простыми лайфхаками, как максимально ускорить процесс уборки шерсти

ТехИнсайдер
Технологии на полку: какие цифровые инструменты применяет ретейл, чтобы сдержать цены Технологии на полку: какие цифровые инструменты применяет ретейл, чтобы сдержать цены

Какие технологии помогают снижать затраты и сдерживать рост цен продуктов?

Forbes
«Ножи мироздания постоянно нас травмируют» «Ножи мироздания постоянно нас травмируют»

Мы пообщались с актером Риналем Мухаметовым, на весьма философские темы

OK!
Путь повара Путь повара

Как шеф-повар Андрей Жданов строил свою карьеру

Bones
10 самых уродливых автомобилей в истории. Обновлённая версия 10 самых уродливых автомобилей в истории. Обновлённая версия

Увы, не все покидающие конвейер машины, становятся впоследствии супермоделями

4x4 Club
Налоговый рай с оговорками: как разобраться в льготных режимах для компаний в ОАЭ Налоговый рай с оговорками: как разобраться в льготных режимах для компаний в ОАЭ

Эксперты рассказывают о тонкостях ведения бизнеса в ОАЭ

Forbes
Почему близкие вас не поддерживают: 7 причин Почему близкие вас не поддерживают: 7 причин

Что делать, если близкие нас не поддерживают?

Psychologies
Екатерина Волкова: «Катя, угомонись!» Екатерина Волкова: «Катя, угомонись!»

Актриса Екатерина Волкова рассказала о своей жизни, семье и новой роли

Лиза
Неотъемлемая часть киносеанса: откуда взялась традиция есть попкорн за просмотром фильма в кинотеатре Неотъемлемая часть киносеанса: откуда взялась традиция есть попкорн за просмотром фильма в кинотеатре

Раньше попкорн в кинотеатрах вообще был под строжайшим запретом

ТехИнсайдер
Упал, очнулся – гипс Упал, очнулся – гипс

Как оказать первую помощь при переломе, а чего делать нельзя

Лиза
Дьявол в мире самолетных запчастей: как TransDigm наживается на Пентагоне и авиации Дьявол в мире самолетных запчастей: как TransDigm наживается на Пентагоне и авиации

Дела у Николаса Хоули сейчас идут просто отлично

Forbes
Робот на присосках поможет слабовидящим купить напиток в автомате Робот на присосках поможет слабовидящим купить напиток в автомате

Это устройство поможет слабовидящим взаимодействовать с сенсорными экранами

N+1
Вымойте это немедленно: 10 самых грязных продуктов на полках в супермаркете Вымойте это немедленно: 10 самых грязных продуктов на полках в супермаркете

Первым делом, придя из продуктового магазина, помойте эти продукты!

ТехИнсайдер
Физики после 67 лет поисков поймали «демона»: безмассовую, нейтральную частицу Физики после 67 лет поисков поймали «демона»: безмассовую, нейтральную частицу

Группа исследователей обнаружила безмассовую нейтральную частицу

ТехИнсайдер
«Тампон почти убил меня»! Как модель потеряли ноги из-за синдрома токсического шока «Тампон почти убил меня»! Как модель потеряли ноги из-за синдрома токсического шока

Средства интимной гигиены сделали молодую девушки инвалидом

ТехИнсайдер
Осадки сточных вод помешали почве сорбировать ситаглиптин Осадки сточных вод помешали почве сорбировать ситаглиптин

Повышенный риск попадания фармацевтических поллютантов в грунтовые воды

N+1
Законы СССР, которые советские люди массово нарушали Законы СССР, которые советские люди массово нарушали

Ряд статей уголовного кодекса граждане СССР нарушали почти поголовно

Maxim
Эмилия Спивак: «Мне очень везет на мужчин в кадре» Эмилия Спивак: «Мне очень везет на мужчин в кадре»

Эмилия Спивак рассказала о своей актерской карьере

Караван историй
«Он тебе не пара» «Он тебе не пара»

Что делать, если семья не одобряет твой выбор партнера

Лиза
10 причин полюбить осень 10 причин полюбить осень

Предлагаем взглянуть на смену сезонов с новой стороны

Караван историй
Описать технический прогресс. Кто придумал теорию для двигателя внутреннего сгорания Описать технический прогресс. Кто придумал теорию для двигателя внутреннего сгорания

Для своего времени ДВС стал настоящим чудом инженерной мысли

СНОБ
Опять за старое: что собой представляет вторичный рынок одежды и почему он важен именно сейчас Опять за старое: что собой представляет вторичный рынок одежды и почему он важен именно сейчас

Чем отличается ресейл от секонд-хенда, а архив — от винтажа

Правила жизни
Мостинг, бредкрамбинг и другие кошмарные тренды в отношениях Мостинг, бредкрамбинг и другие кошмарные тренды в отношениях

Тренды современных отношений, которых лучше бы вообще не было

VOICE
Открыть в приложении