Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пасту для ассирийских табличек для письма сделали из воска и аурипигмента Пасту для ассирийских табличек для письма сделали из воска и аурипигмента

Чем покрывали деревянные дощечки для письма в Древней Месопотамии?

N+1
Правила жизни Пирса Броснана Правила жизни Пирса Броснана

Пирс Броснан: актер, Дроэда, Ирландия, 67 лет

Esquire
Облачные хранилища бесплатно: где и сколько можно получить Облачные хранилища бесплатно: где и сколько можно получить

Самые популярные облачные хранилища: у каких условия самые лучшие?

CHIP
Кристофер Мискья и его машина, которая сама себя отключает Кристофер Мискья и его машина, которая сама себя отключает

Норвежец Кристофер Мискья – инженер до мозга костей

Популярная механика
Дела сердечные: как современный ритм жизни влияет на риск возникновения инфаркта Дела сердечные: как современный ритм жизни влияет на риск возникновения инфаркта

Какие привычки бьют по сердцу сильнее наследственности?

Правила жизни
Антивирус: жизнь после карантина Антивирус: жизнь после карантина

Как привыкнуть к новым реалиям и сохранить психическое здоровье

Cosmopolitan
5 важных вопросов о косточке на стопе 5 важных вопросов о косточке на стопе

Можно ли избавиться от «косточки» на стопе раз и навсегда?

Лиза
Бухгалтерия чувств Бухгалтерия чувств

Ксения Рождественская о документальном фильме про Джеффри Эпштейна

Weekend
Авантюры, джаз и Америка 1920-х: публикуем фрагмент романа «Исповедь моего сердца» Джойс Кэрол Уотс Авантюры, джаз и Америка 1920-х: публикуем фрагмент романа «Исповедь моего сердца» Джойс Кэрол Уотс

Отрывок из саги о семье авантюристов, мошенников и жуликов

Esquire
Моя психотерапевтка беременна: можно ли продолжать терапию? Моя психотерапевтка беременна: можно ли продолжать терапию?

Беременность психологини всегда вызывает ряд этических вопросов

Psychologies
15 актеров рассказывают о своих 15-ти любимых фильмах 15 актеров рассказывают о своих 15-ти любимых фильмах

Настоящие актеры не смотрят кино, иначе не останется времени на вечеринки

Maxim
Без наркотиков и гипноза: на какие галлюцинации способен наш мозг Без наркотиков и гипноза: на какие галлюцинации способен наш мозг

Наш мозг способен чудить без химического или какого-либо другого воздействия

Популярная механика
Громкие почесывания лангустов оказались слышны за три километра Громкие почесывания лангустов оказались слышны за три километра

Распространение звуков лангустов в воде позволит оценивать размеры их популяций

N+1
Литературный критик Анна Наринская — об «Анне Карениной», «Джейн Эйр» и книгах, которые она перечитывает Литературный критик Анна Наринская — об «Анне Карениной», «Джейн Эйр» и книгах, которые она перечитывает

Анна Наринская о книгах, которые манипулируют нашим сознанием

Esquire
Дар зерна Дар зерна

Юрий Сапрыкин — к 60-летию Александра Башлачева

Weekend
Что будет с человеком, если ему ампутировать половину мозга Что будет с человеком, если ему ампутировать половину мозга

Возможно ли жить только с половиной мозга, и что это будет за жизнь?

Популярная механика
10 сериалов про антигероев ― отвратительных людей, но очаровательных злодеев 10 сериалов про антигероев ― отвратительных людей, но очаровательных злодеев

Мы жалеем их, любим и презираем ― в общем, эти герои никогда не будут нам чужими

Esquire
Пылевых дьяволов заподозрили в создании дюн на Титане Пылевых дьяволов заподозрили в создании дюн на Титане

Ключевую роль в создании песчаных дюн на Титане могут играть пылевые дьяволы

N+1
Жизнь после карантина. Аll-Terrain для коротких поездок Жизнь после карантина. Аll-Terrain для коротких поездок

Кроссоверы и внедорожники довольно часто обитают в городах

4x4 Club
Покажите это школьникам! 6 самых необычных экранизаций классики Покажите это школьникам! 6 самых необычных экранизаций классики

Подборка фильмов по классике, которые не дадут вам заскучать

Cosmopolitan
11 продуктов, которые могут заменить друг друга на кухне 11 продуктов, которые могут заменить друг друга на кухне

Покажи всем этим Джейми Оливерам, кто на кухне шеф-повар!

Maxim
Сонька Золотая Ручка: 10 фактов из биографии знаменитой мошенницы Сонька Золотая Ручка: 10 фактов из биографии знаменитой мошенницы

Разбираемся в биографии королевы преступного мира

Cosmopolitan
Как Германия возрождает европейский футбол Как Германия возрождает европейский футбол

Об опыте немцев, которые планируют возобновить футбольный чемпионат уже 16 мая

GQ
В мире до сих пор добывают больше нефти, чем нужно. Почему? В мире до сих пор добывают больше нефти, чем нужно. Почему?

Во времена пандемии черное золото оказалась просто никому не нужно

GQ
«Почему Илон Маск не чудак»: первое интервью создателя Tesla и SpaceX журналу Forbes «Почему Илон Маск не чудак»: первое интервью создателя Tesla и SpaceX журналу Forbes

Первая статья Forbes об Илоне Маске — в ней он еще далеко не визионер

Forbes
А дома лучше? А дома лучше?

Вынужденный режим самоизоляции изменил в нашей жизни многое

Grazia
Потепление позволит зеленым водорослям продвинуться вглубь Антарктиды Потепление позволит зеленым водорослям продвинуться вглубь Антарктиды

На Антарктическом полуострове водоросли занимают почти два квадратных километра

N+1
Дрель и клятва Гиппократа: где и как учились самые перспективные молодые россияне Дрель и клятва Гиппократа: где и как учились самые перспективные молодые россияне

Университетские приключения участников рейтинга Forbes «30 до 30»

Forbes
Сомневаешься в своих силах? 5 типов синдрома самозванца (и как с ними бороться) Сомневаешься в своих силах? 5 типов синдрома самозванца (и как с ними бороться)

Некоторые из нас страдают синдромом самозванца, даже не подозревая об этом.

Playboy
Соленую воду на Марсе посчитали непригодной для жизни Соленую воду на Марсе посчитали непригодной для жизни

Поверхность Марса и его недра не подходят для существования живых организмов

N+1
Открыть в приложении