«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Шойгу рассказал об обстоятельствах гибели подводников Шойгу рассказал об обстоятельствах гибели подводников

Погибшие подводники после возникновения пожара задраили люки

Forbes
Как добывают золото: современные технологии, бактерии, дроны, диджитал инициативы и забота об окружающей среде Как добывают золото: современные технологии, бактерии, дроны, диджитал инициативы и забота об окружающей среде

Современная золотодобыча — это уже даже не самосвалы, а новые технологии

Популярная механика
Прожектор перестройки Прожектор перестройки

Что мешает российской экономике расти?

Forbes
Прожить сто счастливых лет: как сформировать здоровые привычки за 12 дней Прожить сто счастливых лет: как сформировать здоровые привычки за 12 дней

Отрывок из книги практикующего врача-эндокринолога Кати Янг «Марафон столетия»

Forbes
Вред или польза: вся правда об энергетических напитках Вред или польза: вся правда об энергетических напитках

Со всех сторон мы слышим о вреде энергетиков: как обстоят дела на самом деле?

Cosmopolitan
Спорт хозяйствующих субъектов Спорт хозяйствующих субъектов

НБА – это индустрия развлечений; такой же феномен поп-культуры, как Marvel

Esquire
Право на отдых Право на отдых

Трудоголизм стремительно выходит из моды

Vogue
«Страна, где процветает коррупция, никогда не добьется развития своего финансового сектора»: Сауд бин Абдулла Аль-Аттия о сходстве катарской и российских экономик «Страна, где процветает коррупция, никогда не добьется развития своего финансового сектора»: Сауд бин Абдулла Аль-Аттия о сходстве катарской и российских экономик

Заместитель министра финансов Катара об осознанности и устойчивом развитии

Forbes
Звезды и благотворительность: кто занимается реальной помощью Звезды и благотворительность: кто занимается реальной помощью

Знаменитости нередко вступают в ряды благотворителей

Cosmopolitan
Домашняя работа: как стартап бывшего топ-менеджера Microsoft зарабатывает на покупке жилья за наличные Домашняя работа: как стартап бывшего топ-менеджера Microsoft зарабатывает на покупке жилья за наличные

В чем особенность Flyhomes и как он зарабатывает на рынке недвижимости?

Forbes
Одними губами Одними губами

Поцелуи – важный маркер отношений в паре

Cosmopolitan
Сергей Шульга, Кирилл Горыня, Кирилл Петров Сергей Шульга, Кирилл Горыня, Кирилл Петров

Основатели компании i-Free продали свой сервис «Кошелек» банку «Тинькофф»

Собака.ru
«Проклятого чёрта брат» «Проклятого чёрта брат»

А существовало ли письмо запорожцев турецкому султану на самом деле?

Дилетант
Прятаться или выделяться? Две стратегии выживания в мире миниатюрных соседей человека Прятаться или выделяться? Две стратегии выживания в мире миниатюрных соседей человека

Хищники и их жертвы часто меняются ролями

Вокруг света
«Цифровая деменция»: почему гаджеты испортили нам память и как это исправить «Цифровая деменция»: почему гаджеты испортили нам память и как это исправить

Что такое «цифровая деменция» и как с ней бороться

Psychologies
Жена после развода сразу нашла другого: что делать и каких ошибок избегать Жена после развода сразу нашла другого: что делать и каких ошибок избегать

Как быть, если у твоей бывшей появился кто-то другой

Playboy
Путеводитель по русским, которых не было Путеводитель по русским, которых не было

6 настоящих историй о ненастоящих людях

Weekend
Ночь в коробке под мостом, насмешки сослуживцев и другие факты о принце Уильяме Ночь в коробке под мостом, насмешки сослуживцев и другие факты о принце Уильяме

Малоизвестные факты о принце Уильяме

Cosmopolitan
Роксана Шатуновская Роксана Шатуновская

Роксана Шатуновская, генеральный директор, идеолог и сердце Новой Голландии

Собака.ru
10 опасных животных, которые кажутся безобидными 10 опасных животных, которые кажутся безобидными

Немножко неудобной правды о братьях наших меньших

Maxim
Слишком жарко: самые красивые и горячие парочки из сериалов Слишком жарко: самые красивые и горячие парочки из сериалов

Мы вспомнили самые красивые, трогательные и милые пары из сериалов

Cosmopolitan
11 признаков того, что вы не восстановились после родов 11 признаков того, что вы не восстановились после родов

Как понять, что вы не восстановились после родов?

Psychologies
Смотри не перепутай! В каком порядке эффективнее всего пользоваться косметикой Смотри не перепутай! В каком порядке эффективнее всего пользоваться косметикой

Эти простые правила домашнего ухода помогут твоей коже засиять здоровьем

Cosmopolitan
Кодовое слово для террора. Отрывок из книги Ирины Паперно «Советская эпоха в мемуарах, дневниках, снах» Кодовое слово для террора. Отрывок из книги Ирины Паперно «Советская эпоха в мемуарах, дневниках, снах»

Отрывок главы «Лидия Чуковская, “Записки об Анне Ахматовой”» из книги И. Паперно

СНОБ
Вечно беременная: как частые роды влияют на тело — на примере Костенко и других Вечно беременная: как частые роды влияют на тело — на примере Костенко и других

Эти мамы не думают о том, как частые беременности могут повлиять на здоровье

Cosmopolitan
«Мы им еще покажем!» Юрий Колокольников о нашем кино, Нолане и русской мафии «Мы им еще покажем!» Юрий Колокольников о нашем кино, Нолане и русской мафии

Юрий Колокольников — в чем мы сильнее Голливуда, почему на английском все проще

Cosmopolitan
Я бы в лётчики пошёл, пусть меня научат: фильмы о людях с необычной профессией Я бы в лётчики пошёл, пусть меня научат: фильмы о людях с необычной профессией

Фильмы о людях с профессиями, о которых мы едва догадывались

Cosmopolitan
Как найти друзей, если вы страдаете психическим расстройством? Как найти друзей, если вы страдаете психическим расстройством?

Как завести друзей тем, кто страдает депрессией и тревогой?

Psychologies
Марта Кетро о том, почему мы изменяем Марта Кетро о том, почему мы изменяем

Что же заставляет нас искать приключений с другими людьми?

Cosmopolitan
8 (по)потрясных латиноамериканских песен 8 (по)потрясных латиноамериканских песен

Эти песни были посланы свыше, чтобы ты смог скоротать начало лета под них

Maxim
Открыть в приложении