Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кладбище домашних животных: что делать, если умер питомец Кладбище домашних животных: что делать, если умер питомец

Что делать, если умер кот или собака? Как и где происходит кремация животных?

ТехИнсайдер
Мифы о ножах, в которые мы верим благодаря фильмам Мифы о ножах, в которые мы верим благодаря фильмам

Почему нож нельзя метать и держать его в зубах?

Maxim
«Осторожно, в небе металлолом» — Что делают со старыми авиалайнерами «Осторожно, в небе металлолом» — Что делают со старыми авиалайнерами

Почему пассажирские авиалайнеры так рано списывают?

ТехИнсайдер
9 цитат успешных женщин, которые помогут прийти к цели 9 цитат успешных женщин, которые помогут прийти к цели

Успешные женщины — о том, как выключить перфекционизм и творить в полную силу

Psychologies
Отец телевидения Владимир Зворыкин: история изобретения, изменившего мир Отец телевидения Владимир Зворыкин: история изобретения, изменившего мир

Почему отец телевидения Владимир Зворыкин возненавидел свое творение

ТехИнсайдер
Смотри оба: исторические примеры «Барбигеймера» в кино Смотри оба: исторические примеры «Барбигеймера» в кино

Культовые фильмы, которые были выпущены в один день

Правила жизни
Узнайте о рутине императора Адриана! Найдены мраморные таблички о жизни правителя Узнайте о рутине императора Адриана! Найдены мраморные таблички о жизни правителя

Каким был быт «милосердного диктатора» Адриана?

ТехИнсайдер
5 советских игрушек, которые были только в зажиточных семьях 5 советских игрушек, которые были только в зажиточных семьях

Рассказываем, какими были модные дорогие игрушки в СССР

Psychologies
Кинофраншизы, в которых изящно закрыли сюжетные дыры Кинофраншизы, в которых изящно закрыли сюжетные дыры

Иногда Голливуд исправляет ошибки в своих фильмах! Вот примеры

Maxim
Инженеры напечатали веганские кольца кальмара Инженеры напечатали веганские кольца кальмара

Сингапурские ученые напечатали на 3D-принтере вегетарианский морепродукт

N+1
Кого убила Вирджиния Вулф: как женщины обретали себя и свою силу благодаря литературе Кого убила Вирджиния Вулф: как женщины обретали себя и свою силу благодаря литературе

Существует литература — существуют писательницы. Что такое «женское письмо»

Forbes
Богатые вечно плачут: что смотреть, если вам нравится «Белый лотос» Богатые вечно плачут: что смотреть, если вам нравится «Белый лотос»

Если вам нравится «Белый лотос», посмотрите и другие шоу из нашего списка

Правила жизни
Возраст сексуального согласия: 8 тем, которые необходимо обсудить с подростком Возраст сексуального согласия: 8 тем, которые необходимо обсудить с подростком

О чем нужно предупредить ребенка, обсуждая с ним сексуальное согласие?

Psychologies
10 самых уродливых автомобилей в истории. Обновлённая версия 10 самых уродливых автомобилей в истории. Обновлённая версия

Увы, не все покидающие конвейер машины, становятся впоследствии супермоделями

4x4 Club
Принцесса моря Принцесса моря

Princess S80: новая моторная яхта со спортивным флайбриджем

Y Magazine
От падения со скалы до нападения маньяка: 11 самых распространенных кошмаров От падения со скалы до нападения маньяка: 11 самых распространенных кошмаров

В чем заключается функция ночных кошмаров и какие сюжеты встречаются чаще всего

Psychologies
Элизабет Кюблер-Росс, заглянувшая в лицо смерти Элизабет Кюблер-Росс, заглянувшая в лицо смерти

«Смерть — ключ к жизни»

Psychologies
Король-крыса. Как жил и побеждал гонщик Ники Лауда Король-крыса. Как жил и побеждал гонщик Ники Лауда

Ники Лауда: обменять богатство на острые ощущения и поставить на кон жизнь

РБК
Пища для ума: эти доступные продукты Пища для ума: эти доступные продукты

Продукты, которые поддержат активность перегруженного мозга

VOICE
Бокал за ужином не повредит: что такое высокофункциональный алкоголизм Бокал за ужином не повредит: что такое высокофункциональный алкоголизм

Что такое высокофункциональный алкоголизм и где его грань

Forbes
Биполярное судно: Россия строит самый большой и  многофункциональный ледокол Биполярное судно: Россия строит самый большой и  многофункциональный ледокол

Россия приступила к строительству научно-экспедиционного судна «Иван Фролов»

ТехИнсайдер
Уравнение спасения Уравнение спасения

Виноват ли выживший — и другие вопросы войны в фильме «Спасти рядового Райана»

Weekend
Дни и ночи стрелецких казней Дни и ночи стрелецких казней

Следствие по делу стрельцов сопровождалось невиданными пытками и расправами

Дилетант
У бабочек обнаружили пространственную память У бабочек обнаружили пространственную память

Бабочки геликонии запоминают расположение богатых пыльцой цветков

N+1
Художник Саша Шардак: Человек склонен романтизировать все новое и представлять приятное будущее Художник Саша Шардак: Человек склонен романтизировать все новое и представлять приятное будущее

Об эстетике оттепели, ностальгии по ушедшим временам и романтизации новизны

СНОБ
Без FIFA, но с футболистками: чего ждать от нового футбольного симулятора Без FIFA, но с футболистками: чего ждать от нового футбольного симулятора

Почему Electronic Arts и FIFA разорвали отношения спустя 30 лет сотрудничества?

Forbes
Хакнуть 10-й уровень: как изменить «правила игры» и стать успешнее Хакнуть 10-й уровень: как изменить «правила игры» и стать успешнее

«Хакни сразу десятый уровень и не трать время на первые этапы

Psychologies
Последняя любовь и муза: внук Рубена Симонова заявил, что Светлана Джимбинова не была женой легендарного режиссера Последняя любовь и муза: внук Рубена Симонова заявил, что Светлана Джимбинова не была женой легендарного режиссера

Внук Рубена Симонова рассказал о связи мэтра и молодой режиссерши

VOICE
Анализ писем графа Дракулы показал, что у него было заболевание, из-за которого он плакал кровью Анализ писем графа Дракулы показал, что у него было заболевание, из-за которого он плакал кровью

Правитель Валахии XV века Влад III (прототип графа Дракулы) мог плакать кровью

ТехИнсайдер
Все равно пойдет к психологу: почему невозможно стать идеальной матерью Все равно пойдет к психологу: почему невозможно стать идеальной матерью

Что делать, если вы усердно старались, но ребенок все равно травмирован

Forbes
Открыть в приложении