«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

1990: Лихие и крутые 1990: Лихие и крутые

В январе 1991 года на Пушкинской площади открылся первый «Макдоналдс»

Esquire
На Саяно-Шушенскую ГЭС — за рулем полноприводного кроссовера Skoda Karoq. Тест-драйв На Саяно-Шушенскую ГЭС — за рулем полноприводного кроссовера Skoda Karoq. Тест-драйв

Полный привод — не единственное новшество Skoda Karoq

СНОБ
В своей тарелке В своей тарелке

Как посетить ресторан без риска для талии

Худеем правильно
Котлеты из белой и красной рыбы Котлеты из белой и красной рыбы

Эти нежные котлеты — любимая еда тинейджеров!

Cosmopolitan
5 способов вкусно приготовить фалафель 5 способов вкусно приготовить фалафель

Празднуем Международный день фалафеля!

GQ
Как отказаться от сладкого навсегда: методики для сахароголиков Как отказаться от сладкого навсегда: методики для сахароголиков

Как бороться с сахарной зависимостью? Две самых популярных методики.

Cosmopolitan
Первые вакцины: восторг и сопротивление Первые вакцины: восторг и сопротивление

История антипрививочного движения

Дилетант
Археологи нашли у древних майя прибрежные парки Археологи нашли у древних майя прибрежные парки

Водохранилища в Тикале окружали зеленые зоны

N+1
Как худели после родов Кейт Миддлтон, Меган Маркл и другие любимицы британцев Как худели после родов Кейт Миддлтон, Меган Маркл и другие любимицы британцев

Монаршие особы педантично относятся к своему рациону, особенно после родов

Cosmopolitan
Бывший глава израильского «Яндекса» построил робота, который красит ногти дома Бывший глава израильского «Яндекса» построил робота, который красит ногти дома

Омри Моран придумал робота, который делает маникюр, после испорченного свидания

VC.RU
Болезнь дочери, скандалы с Эмбер Херд и крах карьеры: личные драмы Джонни Деппа Болезнь дочери, скандалы с Эмбер Херд и крах карьеры: личные драмы Джонни Деппа

Звездный актер кино "Пираты Карибского моря" пережил серьезные испытания в жизни

Cosmopolitan
Токс-шоу Токс-шоу

Порой в отпуске больше всего хочется отдохнуть не от работы, а от коллег

Cosmopolitan
Мария Бразговская Мария Бразговская

Автор масштабных психотерапевтических онлайн-курсов Мария Бразговская

Собака.ru
Как развить интуицию: 7 способов Как развить интуицию: 7 способов

Интуиция редко ошибается, именно поэтому её стоит тренировать

Maxim
«Я отношу себя к феминисткам». Отрывок из книги Ольги Нечаевой «Женщина с Марса» «Я отношу себя к феминисткам». Отрывок из книги Ольги Нечаевой «Женщина с Марса»

Глава «Мой личный феминизм» из новой книги Ольги Нечаевой

СНОБ
Виртуальный секс: замена реальному или приятный бонус для двоих? Виртуальный секс: замена реальному или приятный бонус для двоих?

Чем именно хорош «вирт» и почему не стоит от него отказываться?

Psychologies
Действительно ли питьевая вода содержит женские гормоны, стероиды и лекарства и как уберечь себя от этого Действительно ли питьевая вода содержит женские гормоны, стероиды и лекарства и как уберечь себя от этого

Откуда берутся в воде продукты фарминдустрии и как защититься от них?

Популярная механика
Что выращивают Белла Хадид и Милли Бобби Браун и почему это полезно Что выращивают Белла Хадид и Милли Бобби Браун и почему это полезно

Рассказываем, что выращивают звезды в саду, и почему стоит к ним присоединиться

РБК
Лариса Долина: «Расслабляться не умею и не хочу» Лариса Долина: «Расслабляться не умею и не хочу»

Лариса Долина — о преображении, силы воли и нежелании расслабляться

Здоровье
Похудеть на размер за 2 дня - диета Гвинет Пэлтроу поможет! Похудеть на размер за 2 дня - диета Гвинет Пэлтроу поможет!

Диета Гвинет Пэлтроу помогает сбросить несколько килограммов за два дня

Cosmopolitan
Особенности нашей памяти: можем ли мы доверять себе Особенности нашей памяти: можем ли мы доверять себе

Насколько наша память способна исказить реальность?

Популярная механика
5 самых красивых затонувших городов мира 5 самых красивых затонувших городов мира

Что насчет подводных путешествий?

Популярная механика
5 веских причин избавиться от стыда 5 веских причин избавиться от стыда

Как справиться со стыдом и вдохнуть полной грудью?

Psychologies
Паукообразные дракулы: как живут одни из самых опасных животных России и можно ли от них спастись Паукообразные дракулы: как живут одни из самых опасных животных России и можно ли от них спастись

Вероятность нападения клеща в теплый сезон выше, чем шанс встретиться с медведем

Вокруг света
Кому доверить ребенка. Разбор педагогических методик в детских садах Кому доверить ребенка. Разбор педагогических методик в детских садах

Самые известные педагогические методики в детских садах

СНОБ
Новая платформа и двигатели V6: Toyota представила внедорожник Land Cruiser 300 Новая платформа и двигатели V6: Toyota представила внедорожник Land Cruiser 300

Новое поколение культовой модели Toyota Land Cruiser

Популярная механика
Нежный бархат Нежный бархат

Сокровище, а не девушка

Playboy
Живительный церий Живительный церий

Прообразы будущих препаратов, которые могли бы получить практическое применение

Наука и жизнь
Виктория Терешкина Виктория Терешкина

Прима-балерина Виктория Терешкина — феномен Мариинского театра

Собака.ru
Балерина Анна Павлова: она любила лишь раз и не бежала от ранней смерти Балерина Анна Павлова: она любила лишь раз и не бежала от ранней смерти

История балерины Анны Павловой

VOICE
Открыть в приложении