«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тайны вкуса Тайны вкуса

У каждого человека есть собственные вкусовые предпочтения

Здоровье
На что надеются те, кто мучается от безответной любви На что надеются те, кто мучается от безответной любви

Наверное, самое трудное при безответной любви — признать, что нас не любят

Psychologies
Наши в Европе Наши в Европе

Советские физики и «революция вундеркиндов»

Наука и жизнь
Изучать непознанное: инопланетяне, йети, Атлантида, лох-несское чудовище Изучать непознанное: инопланетяне, йети, Атлантида, лох-несское чудовище

Йети, Атлантиду и инопланетян ищут не только чудаки в шапочках из фольги

Maxim
Бла-бла-ленд Бла-бла-ленд

«Джетлаг» Михаила Идова, история смешных страданий креативного класса

Weekend
Юные красотки: какими были в детстве Исакова и другие звезды сериала «Нежность» Юные красотки: какими были в детстве Исакова и другие звезды сериала «Нежность»

Детские фото звезд сериала «Нежность»

Cosmopolitan
Долгие проводы: как личные фонды помогут регулировать вопросы с наследниками при жизни основателя бизнеса Долгие проводы: как личные фонды помогут регулировать вопросы с наследниками при жизни основателя бизнеса

В России разрешили создавать личные фонды

Forbes
Белых аистов привлек запах свежескошенной травы Белых аистов привлек запах свежескошенной травы

Использование обоняния при поиске пищи зафиксировано у аистов впервые

N+1
Весь Франкенштейн в 46 фактах Весь Франкенштейн в 46 фактах

Франкенштейн: что мы знаем о главном литературном монстре

Weekend
«Сложные проблемы меня вдохновляют»: как Кейт Вонг стала одной из богатейших женщин мира, создав бренд электронных сигарет «Сложные проблемы меня вдохновляют»: как Кейт Вонг стала одной из богатейших женщин мира, создав бренд электронных сигарет

Желание помочь отцу — подтолкнуло Кейт Вонг запустить бренд электронных сигарет

Forbes
Дайсон против Дайсона Дайсон против Дайсона

Как работает сфера Дайсона

Наука и жизнь
Как распознать в соседе маньяка. Советы психологов Как распознать в соседе маньяка. Советы психологов

Специалисты сервиса психологической помощи — как узнать маньяка?

СНОБ
Объект насмешек: как Мари де Гурне боролась за равные с мужчинами права и оказалась забыта Объект насмешек: как Мари де Гурне боролась за равные с мужчинами права и оказалась забыта

Мари де Гурне стала одной из первых в истории защитницей равенства полов

Forbes
Клиповое мышление: глобальная трансформация человека Клиповое мышление: глобальная трансформация человека

Чем же отличаются «люди экрана» от «людей книги»?

Популярная механика
Все, что надо знать о дронах-убийцах из Турции Все, что надо знать о дронах-убийцах из Турции

Что стоит за тревожными сообщениями о первых жертвах боевых беспилотников

Популярная механика
Хорошего мало: мультивитамины нередко бесполезны и даже вредны Хорошего мало: мультивитамины нередко бесполезны и даже вредны

Действительно ли прием мультивитаминов обязателен для поддержания здоровья

Cosmopolitan
Что такое глютен, и почему все избегают его Что такое глютен, и почему все избегают его

Почему люди веками ели глютен, и все было хорошо? Стоит ли от него отказатсья?

Популярная механика
Спутник Sentinel-5 по выбросам газа предсказал маленькое извержение вулкана за 40 минут до его начала Спутник Sentinel-5 по выбросам газа предсказал маленькое извержение вулкана за 40 минут до его начала

Перед взрывом вулкан Вакаари утроил выбросы диоксида серы

N+1
Сестры Фэннинг. Такие разные. Такие похожие Сестры Фэннинг. Такие разные. Такие похожие

Дакота и Эль Фэннинг начали актерскую карьеру совсем маленькими

Караван историй
Когда научная фантастика предсказала будущее, а когда ей этого не удалось Когда научная фантастика предсказала будущее, а когда ей этого не удалось

Множество идей из фантастических романов так и остались на их страницах

Популярная механика
8 необычных троллейбусов, которые сломали шаблон 8 необычных троллейбусов, которые сломали шаблон

Троллейбусы — герои, злодеи и труженики с «рогами»

Maxim
Как тысячи спутников разрушают озоновый слой Земли: ученые бьют тревогу Как тысячи спутников разрушают озоновый слой Земли: ученые бьют тревогу

Низкое качество алюминия в ступтниках негативно влияет на озоновый слой Земли

Популярная механика
Каким должен быть контент, чтобы зарабатывать на нем в 2021 году Каким должен быть контент, чтобы зарабатывать на нем в 2021 году

Контент-маркетинг в русскоязычном интернете настигла инфляция

СНОБ
Замглавы Минфина Алексей Сазанов — Forbes: «НДФЛ для доходов от 5 млн рублей нужно хотя бы два-три года не трогать» Замглавы Минфина Алексей Сазанов — Forbes: «НДФЛ для доходов от 5 млн рублей нужно хотя бы два-три года не трогать»

Заместитель главы Минфина — о налогах на прибыль и НДФЛ для среднего класса

Forbes
Математическая формула идеального комплимента Математическая формула идеального комплимента

Как искусство комплиментов помогает социальной адаптации детей и подростков

СНОБ
Повод для вызова Повод для вызова

Прямая речь актрисы и режиссера Светланы Устиновой

OK!
Артем Быстров и Ксения Теплова: Не вся жизнь - театр Артем Быстров и Ксения Теплова: Не вся жизнь - театр

Артем Быстров и Ксения Теплова рассказывают друг о друге с невероятной нежностью

Караван историй
«Еще совсем недавно русский актер был рабом». Отрывок из книги Линн Гарафолы «Русский балет Дягилева» «Еще совсем недавно русский актер был рабом». Отрывок из книги Линн Гарафолы «Русский балет Дягилева»

О том, как революцию 1905 года встречали «люди искусства»

СНОБ
Инвестируй в гардероб! Как разбогатеть, вкладывая деньги в одежду и украшения Инвестируй в гардероб! Как разбогатеть, вкладывая деньги в одежду и украшения

Помогут ли дорогая сумочка или картина модного художника заработать в будущем?

Cosmopolitan
«Я оплошал перед женой!»: самые забавные конфузы мужа Кейт Миддлтон «Я оплошал перед женой!»: самые забавные конфузы мужа Кейт Миддлтон

Принц Уильям оконфузился уже во время знакомства с будущей женой

Cosmopolitan
Открыть в приложении