Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тропические болота нивелировали успехи арктических в поглощении углерода Тропические болота нивелировали успехи арктических в поглощении углерода

Почему снижается продуктивность болот, поглощающих углерод

N+1
Почему про детей говорят Почему про детей говорят

Раскрываем тайну капустных дел

ТехИнсайдер
Антисмартфоны и цифровые детокс-устройства: как tech-индустрия зарабатывает на нашей усталости от экранов Антисмартфоны и цифровые детокс-устройства: как tech-индустрия зарабатывает на нашей усталости от экранов

Гаджеты, которые помогут вернуть контроль над своим временем

Inc.
«Это гуманистическая замена террора» «Это гуманистическая замена террора»

Как советская власть использовала высылку интеллектуалов из страны

Weekend
«Розовый. История цвета» «Розовый. История цвета»

Как розовый цвет получали в Средневековье

N+1
Как пилотов защищают от серьезных аварий в «Формуле-1»? Как пилотов защищают от серьезных аварий в «Формуле-1»?

Как работает система защиты пилотов в «Формуле-1»?

Maxim
Тайные знаки: как угадать чей угодно знак зодиака — даже если он это скрывает Тайные знаки: как угадать чей угодно знак зодиака — даже если он это скрывает

Как в одно мгновение понять, какой знак зодиака перед тобой?

VOICE
Коуч-2022: выбор цели Коуч-2022: выбор цели

Как коучинг помогает собирать и развивать сильные команды

СНОБ
6 случаев, когда силиконовая грудь спасала жизнь 6 случаев, когда силиконовая грудь спасала жизнь

Шах и мат, поборники всего натурального!

Maxim
Три любви Иосифа Кобзона: истории с трагическим и счастливым концом Три любви Иосифа Кобзона: истории с трагическим и счастливым концом

Первые два брака Иосифа Кобзона не принесли счастья ни ему, ни его женам

VOICE
Последняя минута войны Последняя минута войны

Советский генерал подписал Акт о капитуляции Германии без разрешения Сталина

Вокруг света
Закрытые огневые позиции: как профессионалы прячут орудия от артиллерии врага Закрытые огневые позиции: как профессионалы прячут орудия от артиллерии врага

Что делать, если неприятель мечет в тебя снарядами, а ты даже не знаешь откуда?

ТехИнсайдер
Не особенные люди. Директор московской «Ночлежки» Дарья Байбакова — о системной помощи бездомным, новых проектах и современной благотворительности Не особенные люди. Директор московской «Ночлежки» Дарья Байбакова — о системной помощи бездомным, новых проектах и современной благотворительности

Как сейчас устроена работа «Ночлежки»

СНОБ
Вегетососудистая дистония и старческое слабоумие: 5 диагнозов, существующих только в России Вегетососудистая дистония и старческое слабоумие: 5 диагнозов, существующих только в России

В России до сих пор ставят диагнозы, которые не признают во всем остальном мире

Psychologies
Суперфуд из болота: 4 удивительных свойства клюквы Суперфуд из болота: 4 удивительных свойства клюквы

Маленькие красные плоды — настоящий кладезь полезных веществ

Вокруг света
5 лучших пород кошек: если вы не знаете, кого выбрать 5 лучших пород кошек: если вы не знаете, кого выбрать

Все кошки хороши, но какая порода подойдет тебе?

ТехИнсайдер
Физики поймали магноны за превращением в фононы Физики поймали магноны за превращением в фононы

Магноны превращаются в фононы за десятки наносекунд

N+1
Как полковник австро-венгерской армии шпионил в пользу Российской империи Как полковник австро-венгерской армии шпионил в пользу Российской империи

О шпионаже австро-венгерского полковника в пользу Российской империи

СНОБ
21 килограмм: как выглядят самые толстые коты в мире 21 килограмм: как выглядят самые толстые коты в мире

Должно ли хорошего кота быть много?

VOICE
Украшение номер один: как парики спасли египтян, обогатили русских и погубили королеву Франции Украшение номер один: как парики спасли египтян, обогатили русских и погубили королеву Франции

Парики веками были неотъемлемой деталью туалета и оставили след в истории

Вокруг света
Неизведанная Калмыкия Неизведанная Калмыкия

Не обязательно ехать на край света, чтобы увидеть буддистские реликвии

Лиза
Что делать, если ты была нежеланным ребенком в семье: объяснил психолог Что делать, если ты была нежеланным ребенком в семье: объяснил психолог

Нежеланные дети всю жизнь пытаются доказать родителям, что достойны любви

Cosmopolitan
Кому на Руси жить взаперти: как Сашу и Яшу лишали прав Кому на Руси жить взаперти: как Сашу и Яшу лишали прав

Налево пойдете — в детдоме заживете, направо пойдете — в интернат попадете

СНОБ
Джонни Депп и Кейт Мосс: что заставило расстаться самую скандальную пару 90-х Джонни Депп и Кейт Мосс: что заставило расстаться самую скандальную пару 90-х

Почему распалась самая эпатажная звездная пара конца XX века

VOICE
Какие средства по уходу за собой можно украсть у своей девушки? Какие средства по уходу за собой можно украсть у своей девушки?

Сколько якобы женских средств можно вполне использовать и мужчинам тоже

Maxim
Один дом, две собаки, трое детей, четыре года брака: союз Тарасовых в цифрах Один дом, две собаки, трое детей, четыре года брака: союз Тарасовых в цифрах

Анастасия и Дмитрий Тарасовы уже четыре года в браке. Как развивался этот союз?

VOICE
«Не возвращайте прошлогодний снег»: как справиться с разрушением смыслов на работе «Не возвращайте прошлогодний снег»: как справиться с разрушением смыслов на работе

Какие существуют стратегии поиска и обретения новых смыслов в кризис

Forbes
Летописец богемного андерграунда, поймавший в кадре дух свободы и перемен: жизнь и творчество классика фотографии Сергея Борисова Летописец богемного андерграунда, поймавший в кадре дух свободы и перемен: жизнь и творчество классика фотографии Сергея Борисова

Сменив десяток профессий, Сергей Борисов пришел к фотографии

Правила жизни
Танцуем в будущее: 8 новых звезд российского балета Танцуем в будущее: 8 новых звезд российского балета

Восемь имен молодых артистов, которые могут составить будущее российского балета

Forbes
Кино эпохи замещения Кино эпохи замещения

«Святым тут не место»: версия Пола Шрейдера, которую мы заслужили

Weekend
Открыть в приложении