«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Будем ли мы вместе? Будем ли мы вместе?

Как и почему мы выбираем тех, с кем будем рядом?

Psychologies
Высокая температура с похмелья: возможные причины и способы облегчить состояние Высокая температура с похмелья: возможные причины и способы облегчить состояние

Что делать, если похмелье сопровождается температурой, и как прийти в себя

Playboy
Как предпринимательницы из Израиля и Палестины объединяют людей с помощью технологий Как предпринимательницы из Израиля и Палестины объединяют людей с помощью технологий

Организация Tech2Peace помогает молодым палестинцам запустить стартап

Forbes
На Саяно-Шушенскую ГЭС — за рулем полноприводного кроссовера Skoda Karoq. Тест-драйв На Саяно-Шушенскую ГЭС — за рулем полноприводного кроссовера Skoda Karoq. Тест-драйв

Полный привод — не единственное новшество Skoda Karoq

СНОБ
Легко: ловить рыбу голыми руками Легко: ловить рыбу голыми руками

Инструкция по поимке особо прыткой рыбешки при отсутствии спиннинга или лески

Maxim
Правила знакомства в супермаркете — месте, где всегда много голодных женщин Правила знакомства в супермаркете — месте, где всегда много голодных женщин

Магазин — отличное место для знакомства

Maxim
Белковая стимуляция: самый современный способ похудеть Белковая стимуляция: самый современный способ похудеть

С помощью правильной схемы питания ты можешь "ускорить" метаболизм вдвое

Cosmopolitan
Как выглядели в юности Лера Кудрявцева, Ольга Бузова и другие телеведущие Как выглядели в юности Лера Кудрявцева, Ольга Бузова и другие телеведущие

Как Дана Борисова, Тина Канделаки и другие звезды выглядели в начале карьеры

Cosmopolitan
Куда деть ребенка летом. 3 совета от шпионов ЦРУ Куда деть ребенка летом. 3 совета от шпионов ЦРУ

Разбираться со своим ребенком на каникулах тебе придется самому. Например, так

Maxim
О чем вы перестанете переживать, осознав свою ценность? О чем вы перестанете переживать, осознав свою ценность?

Стремитесь доказать окружающим, что достойны любви, уважения или повышения?

Psychologies
Анжелика Варум. Свободная Анжелика Варум. Свободная

Анжелика Варум не успела как следует помечтать о замужестве

Коллекция. Караван историй
Метаанализ указал на связь преждевременного рождения с низким интеллектом во взрослом возрасте Метаанализ указал на связь преждевременного рождения с низким интеллектом во взрослом возрасте

Ученые обнаружили связь между неонатальными патологиями и IQ

N+1
Ошибка наблюдателя: почему умные камеры не предотвратят резонансные преступления Ошибка наблюдателя: почему умные камеры не предотвратят резонансные преступления

Может ли система видеонаблюдения помочь предотвратить преступления?

Forbes
Дерзкие дети: исправить, но не сломать Дерзкие дети: исправить, но не сломать

Что делать, если ваш ребенок считает себя умнее всех и не признает авторитетов?

Psychologies
Цветовой друг Цветовой друг

Роль искусства в этой квартире играет яркая дизайнерская мебель

AD
Шеф-повар ресторана Touch Никита Кузьменко — о ферментации и соли из пчел Шеф-повар ресторана Touch Никита Кузьменко — о ферментации и соли из пчел

Интервью с шефом ресторана Touch о том, что такое новая русская кухня

РБК
От свайпа до свадьбы От свайпа до свадьбы

Эксперт: как правильно составить анкету в Tinder

Men’s Health
Паулина Андреева Паулина Андреева

Сценарный дебют Паулины Андреевой – Сериал «Псих» – стал сенсацией русского кино

Собака.ru
Это конец Это конец

Какие концы света грядут и каких из них не миновать

N+1
5 экспонатов выставки «Театр.Rus» в Новом Манеже 5 экспонатов выставки «Театр.Rus» в Новом Манеже

Уникальные экспонаты, способные рассказать историю русского театра

Культура.РФ
Как устроен патрульный катер «Мангуст» с ракетной установкой Как устроен патрульный катер «Мангуст» с ракетной установкой

Эта легкомысленного вида посудина — первая в своем роде

Maxim
Какими были тесты на отцовство до изобретения ДНК-тестов Какими были тесты на отцовство до изобретения ДНК-тестов

Как ученые определяли настоящего биологического отца ребенка до ДНК-тестов

Популярная механика
Женщин растят «удобными». Быть счастливыми мы учимся сами Женщин растят «удобными». Быть счастливыми мы учимся сами

Многих из нас когда-то спрятали в скорлупу «хорошей девочки»

Psychologies
Правда ли, что 150 лет — предел продолжительности жизни Правда ли, что 150 лет — предел продолжительности жизни

Есть ли у нашей жизни фундаментальный биологический предел?

Популярная механика
Инструмент, а не «бумажка». Зачем и когда вам стоит изменить оргструктуру компании Инструмент, а не «бумажка». Зачем и когда вам стоит изменить оргструктуру компании

Как использовать оргструктуру на полную мощность

Inc.
«Я оплошал перед женой!»: самые забавные конфузы мужа Кейт Миддлтон «Я оплошал перед женой!»: самые забавные конфузы мужа Кейт Миддлтон

Принц Уильям оконфузился уже во время знакомства с будущей женой

Cosmopolitan
Лиза Арзамасова: «Ни перерыв в работе, ни выпадание из профессии меня не пугают» Лиза Арзамасова: «Ни перерыв в работе, ни выпадание из профессии меня не пугают»

Елизавета Арзамасова рассказала о предстоящем декрете и своем отношении к диетам

Cosmopolitan
Архитектурные находки Дагестана: маленькие крепости, городские гостиные и мебель на все случаи жизни Архитектурные находки Дагестана: маленькие крепости, городские гостиные и мебель на все случаи жизни

Изобретательность, минимализм и экологичность в Дагестане

Популярная механика
С 1900 года до наших дней: история страны через ее киногероев С 1900 года до наших дней: история страны через ее киногероев

Киногерои, ставшие яркими отображениями российской истории

Cosmopolitan
Считай по головам Считай по головам

Как математические модели помогают экологам прогнозировать будущее видов

N+1
Открыть в приложении