«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тайны вкуса Тайны вкуса

У каждого человека есть собственные вкусовые предпочтения

Здоровье
Топ-5 самых известных животных-футбольных предсказателей и что о них думают ученые Топ-5 самых известных животных-футбольных предсказателей и что о них думают ученые

Могут ли животные-предсказатели угадать результат матча?

Популярная механика
Палеонтологи обнаружили следы массового вымирания акул 19 миллионов лет назад Палеонтологи обнаружили следы массового вымирания акул 19 миллионов лет назад

В раннем миоцене исчезли более 70% видов акул

N+1
«Психанул и уволился»: станем ли мы от этого счастливее? «Психанул и уволился»: станем ли мы от этого счастливее?

«Бросить все и уйти в никуда» — стоит ли поддаваться такому импульсу?

Psychologies
Долой тазики: покупаем стиральную машину для дачи без водопровода Долой тазики: покупаем стиральную машину для дачи без водопровода

Хватит стирать на даче в старой детской ванне или тазике!

CHIP
Принятой за крошечного динозавра ящерице из бирманского янтаря нашли близкого родственника Принятой за крошечного динозавра ящерице из бирманского янтаря нашли близкого родственника

Бирманский янтарь — настоящая сокровищница для палеонтологов

N+1
Северная доставка Северная доставка

Как компания из Архангельска стала крупнейшим игроком на рынке фудтеха

Forbes
Китайские ученые разработали белок для защиты нейронов при инсульте Китайские ученые разработали белок для защиты нейронов при инсульте

Ученые разработали белок Tat-CIRP, который защищает нейроны при инсульте

N+1
На старт, внимание, лайк На старт, внимание, лайк

Сколько можно заработать на инстаграм-марафонах?

Glamour
Альбина Джанабаева: Альбина Джанабаева:

Откровенное интервью с Альбиной Джанабаевой

Караван историй
Попались на джинсе Попались на джинсе

Когда тебе нужен дорогой винтажный деним, выясняется, что мода – грязное дело

Playboy
Женщина сбежала от мужа-тирана и спустя 12 лет увидела свои фото в интернете Женщина сбежала от мужа-тирана и спустя 12 лет увидела свои фото в интернете

Популярный блогер поделился удивительной историей

Psychologies
В шаге от пропасти В шаге от пропасти

Подростковая агрессивность: причины, последствия, предотвращение

Лиза
17 Instagram-аккаунтов, которые научат тебя плести фантастические косы 17 Instagram-аккаунтов, которые научат тебя плести фантастические косы

Авторы этих аккаунтов вдохновят вас на потрясающие прически

Cosmopolitan
Первая в Антарктиде: почему в честь геолога Марии Кленовой назвали горы на Новой Земле Первая в Антарктиде: почему в честь геолога Марии Кленовой назвали горы на Новой Земле

Кленова стала первой женщиной в мире, возглавившей научную экспедицию

Forbes
Вышли из себя: Канье Уэст, Алексей Панин, Аманда Байнс — звезды, сошедшие с ума Вышли из себя: Канье Уэст, Алексей Панин, Аманда Байнс — звезды, сошедшие с ума

Этих ребят стоит обходить по кривой дуге

Cosmopolitan
Звезда в иллюминаторе: как выглядит Солнце с каждой из планет Солнечной системы Звезда в иллюминаторе: как выглядит Солнце с каждой из планет Солнечной системы

Похоже, мы, земляне, еще неплохо устроились

Вокруг света
8 проблем с бюстгальтером и как их решить 8 проблем с бюстгальтером и как их решить

Эксперт: какие проблемы можно решить с помощью регулировки бюстгальтера

Cosmopolitan
Евгений Водолазкин о пластиковых бутылках в Средневековье, хронофагах и ДиКаприо Евгений Водолазкин о пластиковых бутылках в Средневековье, хронофагах и ДиКаприо

Евгений Водолазкин – об экранизации своего романа, времени и хронофагах

Cosmopolitan
Девственница или блудница. Как меняются требования к партнеру Девственница или блудница. Как меняются требования к партнеру

Нужно ли искать баланс между девственницей и блудницей?

СНОБ
Если нельзя, но очень хочется Если нельзя, но очень хочется

Как власти относились к Андрею Сахарову

Дилетант
Казанова или Чикатило? Разрешенные и запрещенные способы соблазнения Казанова или Чикатило? Разрешенные и запрещенные способы соблазнения

Как соблазнять женщин без угрызений совести и Уголовного кодекса

Maxim
101 правило жизни: школьный учитель спасает мир от стресса 101 правило жизни: школьный учитель спасает мир от стресса

Простые и эффективные способы того, как дать стрессу отпор

Cosmopolitan
Метеозависимость: симптомы, причины, комментарии эксперта Метеозависимость: симптомы, причины, комментарии эксперта

Что такое метеозависимость и как с ней жить?

РБК
Песни приезжих и пропащих. Почему Манижа — это и есть русская культура Песни приезжих и пропащих. Почему Манижа — это и есть русская культура

Манижа — нечто большее, чем просто очередная участница «Евровидения»

СНОБ
5 советов тем, кто переживает непростые времена 5 советов тем, кто переживает непростые времена

Что поможет справляться с повседневными трудностями и находить радость?

Psychologies
Защита детей и помощь американским индейцам: на что Маккензи Скотт пожертвовала $2,7 млрд Защита детей и помощь американским индейцам: на что Маккензи Скотт пожертвовала $2,7 млрд

Кого поддерживает одна из богатейших женщин мира?

Forbes
Чем пахнут ремесла: крафтовый — что это значит Чем пахнут ремесла: крафтовый — что это значит

Какое крафтовое пиво бывает, почему его любят и почему ненавидят

Playboy
Тебя выдает лак для ногтей: выбор оттенка многое говорит о характере! Тебя выдает лак для ногтей: выбор оттенка многое говорит о характере!

Что расскажут о твоем характере любимые цвета лака для ногтей?

Cosmopolitan
Дружба с женщиной без секса? Не только приятна, но и возможна! Дружба с женщиной без секса? Не только приятна, но и возможна!

Точка в затянувшейся дискуссии «Может ли мальчик дружить с девочкой»

Maxim
Открыть в приложении