Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тропические болота нивелировали успехи арктических в поглощении углерода Тропические болота нивелировали успехи арктических в поглощении углерода

Почему снижается продуктивность болот, поглощающих углерод

N+1
Удушающая забота: что такое синдром Мюнхгаузена и почему он опасен Удушающая забота: что такое синдром Мюнхгаузена и почему он опасен

Расстройство, при котором человек имитирует симптомы реальных заболеваний

Forbes
Почему телефон долго заряжается: 8 самых популярных причин Почему телефон долго заряжается: 8 самых популярных причин

Все случаи, следствием которых может стать медленная зарядка аккумулятора

CHIP
5 книг для тех, кто хочет начать разбираться в финансах 5 книг для тех, кто хочет начать разбираться в финансах

Книги, которые помогут начать инвестировать с умом и больше зарабатывать

Maxim
Лекарство от уныния: как философия помогает бороться с тревогой и внутренней пустотой Лекарство от уныния: как философия помогает бороться с тревогой и внутренней пустотой

Почему в мире бесконечных возможностей мы все чаще чувствуем тревогу, пустоту?

Forbes
«Я помогу ему написать одну книгу»: как жена писателя пожертвовала своей карьерой «Я помогу ему написать одну книгу»: как жена писателя пожертвовала своей карьерой

Что делать, если всю жизнь тебя воспринимают как тень твоего гениального мужа?

Forbes
Как появилась традиция праздновать Последний звонок? Как появилась традиция праздновать Последний звонок?

Последний звонок придумал советский педагог из Краснодара

Вокруг света
Накликали беду: как правильно применять AI в работе с небольшим количеством данных Накликали беду: как правильно применять AI в работе с небольшим количеством данных

Самые известные AI-модели, такие как GPT-3, обучены на гигантских датасетах

Популярная механика
Бразильский Чернобыль: радиоактивное заражение в Гоянии в 1987 году Бразильский Чернобыль: радиоактивное заражение в Гоянии в 1987 году

Катастрофа произошла через полтора года после аварии на Чернобыльской АЭС

Maxim
Почему мы так плохо помним наше детство? Почему мы так плохо помним наше детство?

Почему у большинства людей нет никаких воспоминаний о первых 3-4 годах жизни

Популярная механика
Украшенный головной убор бронзового века назвали приданым и связали с охранной магией Украшенный головной убор бронзового века назвали приданым и связали с охранной магией

Археологи исследовали набор бронзовых украшений из погребения срубной культуры

N+1
«Я и четыре моих женщины»: так нас видит мужчина каждый месяц «Я и четыре моих женщины»: так нас видит мужчина каждый месяц

Еще вчера вы его страстно хотели, а сегодня он находит вас в углу с книгой?

Psychologies
Малина круглый год Малина круглый год

«Юнионпарк» построил тепличный комплекс для выращивания ягоды за 400 млн руб.

Агроинвестор
Лучшее средство от похмелья: рецепт мексиканской энчилады Лучшее средство от похмелья: рецепт мексиканской энчилады

Без этого блюда не обходится ни один мексиканский праздник

Вокруг света
«Я изображаю веселую оптимистку, а внутри чувствую себя неполноценной» «Я изображаю веселую оптимистку, а внутри чувствую себя неполноценной»

Почему мы можем чувствовать неуверенность, находясь рядом с другими людьми?

Psychologies
Как художник Винсент Ван Гог добился феноменального успеха: мнение ученых Как художник Винсент Ван Гог добился феноменального успеха: мнение ученых

Почему Винсент Ван Гог стал знаменитым только под конец своей жизни?

ТехИнсайдер
О свободе и внутренней силе человека: какой бывает храбрость в наихудшие времена О свободе и внутренней силе человека: какой бывает храбрость в наихудшие времена

Эдит Ева Эгер в юном возрасте была отправлена вместе со своей семьей в Аушвиц

Forbes
«Любым способом вывести из строя противника»: 5 фактов о боях роботов «Любым способом вывести из строя противника»: 5 фактов о боях роботов

Бои роботов привлекли внимание большого количества зрителей по всему миру

Вокруг света
10 любимых фраз пассивного человека 10 любимых фраз пассивного человека

Фразы, которые может произнести только пассивный человек

Psychologies
Новые возможности и заслуженные победы: семь лучших мотивирующих фильмов Новые возможности и заслуженные победы: семь лучших мотивирующих фильмов

Картины о неунывающих энтузиастах и мечтателях, которые не боятся трудностей

Forbes
Моя крепость Моя крепость

Интересный и масштабный проект — усадьба в стиле современного шале

SALON-Interior
Номер по абонементу: зачем отели тестируют систему подписки на свои услуги Номер по абонементу: зачем отели тестируют систему подписки на свои услуги

Зачем отели по всему миру вводят системы подписки на номера и услуги

Forbes
Семейная сага, стокгольмский синдром и драма взросления. 8 бестселлеров, завоевавших любовь критиков Семейная сага, стокгольмский синдром и драма взросления. 8 бестселлеров, завоевавших любовь критиков

Если еще не знакомы с этими романами — самое время это исправить

СНОБ
Не только Москва: в каком городе всего одна станция и другие факты о метро в России Не только Москва: в каком городе всего одна станция и другие факты о метро в России

Всего в городах России обслуживает пассажиров более 350 станций подземки

Вокруг света
Свои виды Свои виды

Три яхтенных маршрута, стартующие в Москве и Петербурге

Robb Report
Вид с мостика Вид с мостика

Что может узнать о жизни миллиардеров капитан суперъяхты

Forbes
Астрология и Таро: как правильно к ним относиться — рассказывает психолог Астрология и Таро: как правильно к ним относиться — рассказывает психолог

Зачем нам это нужно и как правильно относиться к советам астрологов и тарологов?

VOICE
Не только Первомай: откуда взялась традиция праздновать начало мая Не только Первомай: откуда взялась традиция праздновать начало мая

Традиция праздновать окончательную победу лета над морозами стара как мир

Вокруг света
Необычная техника для кухни, которая нужна не всем Необычная техника для кухни, которая нужна не всем

Не знаете, как разнообразить свое питание? Загляните в нашу статью

CHIP
Как развивать эмоциональный интеллект и быть жизнестойким Как развивать эмоциональный интеллект и быть жизнестойким

Что такое эмоциональный интеллект и как его развить

СНОБ
Открыть в приложении