Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Челюсть из Сварткранса указала на потенциально новый вид парантропов Челюсть из Сварткранса указала на потенциально новый вид парантропов

Ученые повторно исследовали нижнюю челюсть SK-15, которую нашли в 1949 году

N+1
Как разминируют минные поля: работа сапера Как разминируют минные поля: работа сапера

Как проходят тренировки одного из самых боеспособных соединений Российской армии

Популярная механика
Почему беспроводные наушники быстро разряжаются Почему беспроводные наушники быстро разряжаются

Причины, по которым беспроводные наушники быстро разряжаются

CHIP
На На

История долгого и счастливого брака Леонида Ярмольника и его жены Оксаны

Cosmopolitan
«А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход «А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход

Поставщики начали отказывать в поставках гелия даже научным лабораториям

ТехИнсайдер
Renault обновила кроссовер Kaptur — немного ярче, немного удобнее, немного дороже Renault обновила кроссовер Kaptur — немного ярче, немного удобнее, немного дороже

Обновленный Ranault Kaptur выглядит сочнее и стоит дороже миллиона

Maxim
Дмитрий Брейтенбихер: «Они умеют идти вперед и при сильном встречном ветре» Дмитрий Брейтенбихер: «Они умеют идти вперед и при сильном встречном ветре»

Куда инвестируют состоятельные клиенты в условиях пандемии

Forbes
5 отличных свежих сериалов, на которые стоит потрать время 5 отличных свежих сериалов, на которые стоит потрать время

Подборка из достойных сериалов, вышедших за последние три месяца

Esquire
Биокомпозит увеличил срок годности фруктов на неделю Биокомпозит увеличил срок годности фруктов на неделю

По статистике ВОЗ за 2018 год более 800 миллионов человек

N+1
НЭП или полицейский коммунизм? Как власти сдержать рост недовольства россиян НЭП или полицейский коммунизм? Как власти сдержать рост недовольства россиян

У власти, как обычно в российской истории, есть два выхода из кризисной ситуации

Forbes
Ты сможешь! Как вера в ребенка помогает вырастить его счастливым Ты сможешь! Как вера в ребенка помогает вырастить его счастливым

Отрывок из книги Дмитрия Чернышева: какие методики воспитания существовали

Forbes
Чёрная смерть Чёрная смерть

До XX века эпидемия чумы превосходила самые кровопролитные конфликты

Дилетант
Как менялся стиль Роберта Паттинсона Как менялся стиль Роберта Паттинсона

Ему удалось перевоплотиться из вампира в супергероя

GQ
Алексей Воробьев: «Знаю, что буду когда-нибудь счастлив как муж и отец» Алексей Воробьев: «Знаю, что буду когда-нибудь счастлив как муж и отец»

Алексей Воробьев о превратностях судьбы, жизни на две страны и одиночестве

Cosmopolitan
Итальянские каникулы Итальянские каникулы

Квартира, оформленная с уважением к итальянским традициям

AD
Адриан Шиньяр: «Надо привыкать к этапу непредсказуемости» Адриан Шиньяр: «Надо привыкать к этапу непредсказуемости»

Психолог Адриан Шиньяр – о жизни в самоизоляции

Здоровье
«Важно проводить время с пользой» «Важно проводить время с пользой»

Интервью с Елизаветой Боярской и фотосессия, снятая на телефон

OK!
Улучшающий запоминание шрифт не улучшил запоминание Улучшающий запоминание шрифт не улучшил запоминание

Sans Forgetica нужно переименовать в Sans Remembica (ба-дум-тсс)

N+1
10 малоизвестных аварий на АЭС и утечек радиации 10 малоизвестных аварий на АЭС и утечек радиации

Аварии на АЭС, которые организации попытались скрыть

Популярная механика
Рама для картины Рама для картины

Интерьер для семьи и... для коллекции предметов искусства

SALON-Interior
Литовская кольцевая Литовская кольцевая

Писатель Евгений Бабушкин делится своими наблюдениями за человечеством

Esquire
Правила жизни Фрэнсиса Форда Копполы Правила жизни Фрэнсиса Форда Копполы

Правила жизни режиссера кинотрилогии «Крестный отец» Фрэнсиса Форда Копполы

Esquire
Тайна космической невидимки: найдена ближайшая к Земле черная дыра Тайна космической невидимки: найдена ближайшая к Земле черная дыра

Обнаружена “тихая” черная дыра, которая не испускает рентгеновских лучей

Популярная механика
Мухаммед Али против Джорджа Формана: как прошел величайший поединок в истории бокса Мухаммед Али против Джорджа Формана: как прошел величайший поединок в истории бокса

Отрывок из книги Нормана Мейлера "Грохот в джунглях"

Esquire
13 сериалов, которые мы будем смотреть этим летом 13 сериалов, которые мы будем смотреть этим летом

Лучшие сериалы лета 2020

GQ
Никаких больше поцелуев: как во время пандемии продолжают снимать один из самых долгих сериалов в истории Никаких больше поцелуев: как во время пандемии продолжают снимать один из самых долгих сериалов в истории

Как продолжается производство одного из самых длительных сериалов в истории

Forbes
Командный менеджмент: почему пираты XVIII века были самыми демократичными людьми своего времени Командный менеджмент: почему пираты XVIII века были самыми демократичными людьми своего времени

Как суровые законы рынка заставляли пиратов мучить и убивать людей

Esquire
«Убийство священного оленя» и Йоргос Лантимос: почему от них все без ума? «Убийство священного оленя» и Йоргос Лантимос: почему от них все без ума?

Чем же так хорош нахальный режиссер Йоргос Лантимос и откуда он взялся

Esquire
Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы

Новое исследование в разработке лекарств против болезни Альцгеймера

Популярная механика
«Сестра четырех». Отрывок из пьесы Евгения Водолазкина про карантин «Сестра четырех». Отрывок из пьесы Евгения Водолазкина про карантин

Фрагмент из «Сестры четырех» — ироничной и абсурдной пьесы

Forbes
Открыть в приложении