Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как перевезти собаку на мотоцикле и квадрицикле: 4 важных совета от кинолога Как перевезти собаку на мотоцикле и квадрицикле: 4 важных совета от кинолога

Как безопасно перевозить собаку на мотоцикле?

ТехИнсайдер
Что надо знать о блан де нуаре — одном из винных хитов 2023 года Что надо знать о блан де нуаре — одном из винных хитов 2023 года

Почему российский блан де нуар отличается от французского и как его делают

СНОБ
ИИ помогает собрать «мозг» квантового компьютера ИИ помогает собрать «мозг» квантового компьютера

Как модель ИИ собирает атомные решетки — основы будущих квантовых компьютеров

ТехИнсайдер
«Покупатели-хищники»: зачем американские миллиардеры покупают столько недвижимости «Покупатели-хищники»: зачем американские миллиардеры покупают столько недвижимости

По меньшей мере пять миллиардеров, у которых 10 домов и даже больше

Forbes
Первая минута Первая минута

Как заставить начало разговора работать на результат

kiozk originals
Самые захватывающие книги о реальных преступлениях и закулисье следствия Самые захватывающие книги о реальных преступлениях и закулисье следствия

Чтение тру-крайм-литературы одновременно будоражит и успокаивает.

Maxim
Спиленные деревья стали дешевой заменой вымершим коралловым рифам Спиленные деревья стали дешевой заменой вымершим коралловым рифам

Ученые придумали куда более простой выход из ситуации с вымиранием рифов

ТехИнсайдер
«Реинкарнация. Новая глава»: хоррор о сестринстве и материнстве «Реинкарнация. Новая глава»: хоррор о сестринстве и материнстве

Что такое фем-хоррор и как Дайна Рид превращает детскую травму в кошмар?

Forbes
«Ночь заводов»: зачем в действующих цехах устраивают перформансы и концерты «Ночь заводов»: зачем в действующих цехах устраивают перформансы и концерты

Зачем делать действующие предприятия площадками для современного искусства

Forbes
Исчезающий вид. Что такое айсвайн, или «ледяное вино» Исчезающий вид. Что такое айсвайн, или «ледяное вино»

Чем айсвайн отличается от классических вин и почему его нельзя выпить много?

СНОБ
На птичьем языке На птичьем языке

В северных турецких горах спрятана небольшая деревенька под названием Кушкёй

Вокруг света
Три банкета в день Три банкета в день

За год в ресторане Modus проходит больше тысячи банкетов

Bones
Почему пикап GWM Poer KingKong — последний настоящий мужской автомобиль Почему пикап GWM Poer KingKong — последний настоящий мужской автомобиль

Огромный дизельный пикап — оплот настоящего в нашем цифровом мире

Maxim
Ралли «Шёлковый путь 2023». Итоги Ралли «Шёлковый путь 2023». Итоги

Новое издание было уникально как по спортивной составляющей, так и по эмоциям

4x4 Club
Кто такой Михаил Елизаров — автор «Библиотекаря» и впечатляющих песен Кто такой Михаил Елизаров — автор «Библиотекаря» и впечатляющих песен

Кто такой Михаил Елизаров?

Правила жизни
Как отличить плохое настроение от клинической депрессии: 10 признаков Как отличить плохое настроение от клинической депрессии: 10 признаков

Клиническая депрессия у разных пациентов может проявляться по-разному

Psychologies
Принцесса покера: как Молли Блум заработала миллионы на игре в покер и потеряла все Принцесса покера: как Молли Блум заработала миллионы на игре в покер и потеряла все

Жизнь Молли была разрушена в одночасье, но она собрала её по кусочкам

Forbes
Восточная подсказка Восточная подсказка

Подробная инструкция по пользованию Дубаем

Правила жизни
Зачем миллиардер переливает себе кровь юношей: как узнать Зачем миллиардер переливает себе кровь юношей: как узнать

Говорят, что за деньги нельзя купить любовь. Но можно ли выиграть на них время?

ТехИнсайдер
«Это огромный ущерб самооценке»: что делать, если мучает чувство вины «Это огромный ущерб самооценке»: что делать, если мучает чувство вины

Советы для тех, кому постоянное чувство вины знакомо не понаслышке

Psychologies
Интересный факт! Аутизм может быть не болезнью, но частью личности Интересный факт! Аутизм может быть не болезнью, но частью личности

Аутизм можно рассматривать как человеческую «изменчивость», а не как заболевание

ТехИнсайдер
В мозге людей с избыточным весом изменен «центр управления аппетитом» В мозге людей с избыточным весом изменен «центр управления аппетитом»

У людей с ожирением меняется гипоталамус

ТехИнсайдер
10 вещей, которых вы не поймете, если не жили в коммуналке 10 вещей, которых вы не поймете, если не жили в коммуналке

10 самых странных вещей, с которыми приходилось сталкиваться в коммуналке

Psychologies
Дом для кругосветного плавания Дом для кругосветного плавания

Hallberg-Rassy 69 обеспечит вам длительное плавание с домашним комфортом

Y Magazine
Таинственная невестка Рании: как выглядит сестра короля Иордании Абдаллы II, удочеренная его отцом Таинственная невестка Рании: как выглядит сестра короля Иордании Абдаллы II, удочеренная его отцом

Абир Мохасин — приемная дочь Хусейна I

VOICE
Ожирение ухудшает ассоциативное мышление у человека Ожирение ухудшает ассоциативное мышление у человека

У людей, страдающих ожирением, ухудшается ассоциативное мышление

ТехИнсайдер
Как носить прозрачную одежду и не выглядеть вульгарно: 5 ключевых правил для девушек любого возраста Как носить прозрачную одежду и не выглядеть вульгарно: 5 ключевых правил для девушек любого возраста

Как стильно носить прозрачную одежду?

VOICE
Описать технический прогресс. Кто придумал теорию для двигателя внутреннего сгорания Описать технический прогресс. Кто придумал теорию для двигателя внутреннего сгорания

Для своего времени ДВС стал настоящим чудом инженерной мысли

СНОБ
Осетрина для дедушки. Что можно считать психологической травмой Осетрина для дедушки. Что можно считать психологической травмой

Чем психологическая травма отличается от обучающих подростка программ и событий

СНОБ
5 типов конфликтных людей — проверьте себя и близких 5 типов конфликтных людей — проверьте себя и близких

Как распознать конфликтного человека, чтобы избежать общения с ним?

Psychologies
Открыть в приложении