Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья? Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья?

Оказывают ли какой-то эффект палки в скандинавской ходьбе?

ТехИнсайдер
Большая разница? Мозги самцов и самок по-разному реагируют на хронический стресс Большая разница? Мозги самцов и самок по-разному реагируют на хронический стресс

Реакция клеток мозга на стресс отличается в зависимости от пола животного

ТехИнсайдер
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
А мы тут… мультики смотрим А мы тут… мультики смотрим

Герои статьи рассказали, какие мультфильмы больше всего впечатлили их в детстве

Лиза
Ошибка выжившего: как Москва искажает представление о счастье и бесконечно производит зависть Ошибка выжившего: как Москва искажает представление о счастье и бесконечно производит зависть

Как Москва сделала потребление культом и за сколько счастье можно купить

Правила жизни
Чтобы спасти Землю от потепления, ее можно спрятать под зонтиком, прицепленным к астероиду Чтобы спасти Землю от потепления, ее можно спрятать под зонтиком, прицепленным к астероиду

Можно ли помочь Земле справиться с потеплением с помощью солнечного зонтика?

ТехИнсайдер
А был ли путч? А был ли путч?

Как популярный военный предотвратил заговор, которого, возможно, не было

Дилетант
Динозавр съел баннер: 10 выдающихся рекламных кампаний голливудских фильмов Динозавр съел баннер: 10 выдающихся рекламных кампаний голливудских фильмов

Десять примеров выдающихся промокампаний по продвижению кино в Голливуде

Правила жизни
Водный мир Водный мир

Черногория, которая каждого наградит развлечениями на любой вкус

Y Magazine
Персональный подход Персональный подход

Как складывалась команда ресторана Modus

Bones
Разнообразие аллелей в главном комплексе гистосовместимости европейских земледельцев возросло в течение неолита Разнообразие аллелей в главном комплексе гистосовместимости европейских земледельцев возросло в течение неолита

У земледельцев эпохи позднего неолита, увеличилось разнообразие аллелей

N+1
Дубай. Город intro. Как состояться в Дубае и избежать ошибок Дубай. Город intro. Как состояться в Дубае и избежать ошибок

Продюсер Митя Муравьев открывает главный дубайский секрет

Правила жизни
Пески фрекинга: как бывший нефтяной магнат осваивает в Техасе новые ресурсы Пески фрекинга: как бывший нефтяной магнат осваивает в Техасе новые ресурсы

Компания Бада Бригэма сделает его миллиардером, если не будет угрожать ящерице

Forbes
Если мир опрокинется Если мир опрокинется

Продолжение рассказа Елены Ворон

Наука и жизнь
Что такое кэш и как его очистить? Просто о сложном Что такое кэш и как его очистить? Просто о сложном

Кэш: объясняем, что это такое и почему вы должны его чистить

CHIP
Возможно ли предсказать вооруженные конфликты? Вот как ученые работают над этим Возможно ли предсказать вооруженные конфликты? Вот как ученые работают над этим

Статистическая модель способна выявить связи между конфликтами в Африке

ТехИнсайдер
Цифровой рубль. Что это и зачем он нужен Цифровой рубль. Что это и зачем он нужен

Чем цифровая валюта отличается от безналичной оплаты?

Inc.
Культура Культура

Сюжеты, характеризующие культурную жизнь современных ОАЭ и Саудовской Аравии

Правила жизни
Что делать со старым ненужным смартфоном: 10 сценариев использования Что делать со старым ненужным смартфоном: 10 сценариев использования

Если вы поменяли смартфон, не спешите выбрасывать старый

CHIP
«Покупатели-хищники»: зачем американские миллиардеры покупают столько недвижимости «Покупатели-хищники»: зачем американские миллиардеры покупают столько недвижимости

По меньшей мере пять миллиардеров, у которых 10 домов и даже больше

Forbes
3 жизненных урока, которые мы извлекаем из отношений родителей 3 жизненных урока, которые мы извлекаем из отношений родителей

Ребенок всегда перенимает ту манеру поведения, которая была у него перед глазами

Psychologies
Не подключаются беспроводные наушники? Вот 11 способов это исправить Не подключаются беспроводные наушники? Вот 11 способов это исправить

11 способов, как восстановить нерабочие, на первый взгляд, Bluetooth-наушники

ТехИнсайдер
Vigilante Cherokee S 77. Мечта фанатов Jeep Vigilante Cherokee S 77. Мечта фанатов Jeep

Этот рестомод от Vigilante 4х4 находиться на вершине пьедестала

4x4 Club
Digital на кухне Digital на кухне

Заменить шеф-повара искусственный интеллект пока не сможет

Bones
Дом для кругосветного плавания Дом для кругосветного плавания

Hallberg-Rassy 69 обеспечит вам длительное плавание с домашним комфортом

Y Magazine
Песня о родинке: как выявить опасное новообразование на коже и удалить его Песня о родинке: как выявить опасное новообразование на коже и удалить его

Что такое родинка и как понять, что она опасна?

Правила жизни
Как лесные пожары в Австралии влияют на климат Земли Как лесные пожары в Австралии влияют на климат Земли

О глобальных последствиях пожаров "черного лета" 2019-2020 годов

ТехИнсайдер
Дни и ночи стрелецких казней Дни и ночи стрелецких казней

Следствие по делу стрельцов сопровождалось невиданными пытками и расправами

Дилетант
В пыли внутри МКС нашли стойкие органические загрязнители В пыли внутри МКС нашли стойкие органические загрязнители

В пыли внутри МКС нашли стойкие органические загрязнители

N+1
Принцессы так не поступают: 5 явных признаков того, что Меган Маркл была обречена на «мегзит» Принцессы так не поступают: 5 явных признаков того, что Меган Маркл была обречена на «мегзит»

Вот пять грубых нарушений, которые допустила Меган Маркл

VOICE
Открыть в приложении