«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Точки зрения: почему мы не видим себя такими, какие мы есть Точки зрения: почему мы не видим себя такими, какие мы есть

Мы ищем себя в отражении или в размышлениях о себе

Psychologies
Привычка жить в кредит: как не угодить в ловушку? Привычка жить в кредит: как не угодить в ловушку?

Эксперт — как избавиться от кредитов и научиться управлять финансами?

Psychologies
Малая родина Малая родина

Одним июльским днем в Тверской области выпал снег

Вокруг света
Новая платформа и двигатели V6: Toyota представила внедорожник Land Cruiser 300 Новая платформа и двигатели V6: Toyota представила внедорожник Land Cruiser 300

Новое поколение культовой модели Toyota Land Cruiser

Популярная механика
Многоликий никотин Многоликий никотин

Какую пользу может принести главный алкалоид табака

Наука
Советская запрещенка: великие фильмы, не прошедшие цензуру Советская запрещенка: великие фильмы, не прошедшие цензуру

Советские фильмы, которые попали в опалу и не были показаны широкому зрителю

Cosmopolitan
Какими были тесты на отцовство до изобретения ДНК-тестов Какими были тесты на отцовство до изобретения ДНК-тестов

Как ученые определяли настоящего биологического отца ребенка до ДНК-тестов

Популярная механика
Замкнутый цикл: как создают современные автомобили Bentley Замкнутый цикл: как создают современные автомобили Bentley

Изучаем, какими будут автомобили Bentley в будущем

Forbes
Когда искусственный интеллект заменит блогеров: мнение Аркадия Сандлера Когда искусственный интеллект заменит блогеров: мнение Аркадия Сандлера

Какой будет работа блогеров в будущем?

Популярная механика
«Всего один герой, и тот идиот» «Всего один герой, и тот идиот»

Что советская цензура усматривала в мультфильмах

Weekend
Как общаться с тем, кто не смотрит в глаза Как общаться с тем, кто не смотрит в глаза

Как быть, если наш визави упорно отводит взгляд?

Psychologies
Чистая победа! Чистая победа!

10 способов избавиться от пыли в квартире

Лиза
Под прикрытием Под прикрытием

Санскрины становятся все более приятными и эффективными

Glamour
Прожектор перестройки Прожектор перестройки

Что мешает российской экономике расти?

Forbes
«Нужно быть сосредоточенным, как лазер»: Джулианна Мур о работе со Стивеном Кингом «Нужно быть сосредоточенным, как лазер»: Джулианна Мур о работе со Стивеном Кингом

Джулиана Мур — о том, чем ей близок взгляд Стивена Кинга на отношения

Forbes
Роман с иностранцем и неравный брак: личная жизнь звездных актрис сериала «След» Роман с иностранцем и неравный брак: личная жизнь звездных актрис сериала «След»

Звезд сериала «След» буквально завоевывали мужчины

Cosmopolitan
Муравьи-рабовладельцы утратили значительную часть генов обоняния и вкуса Муравьи-рабовладельцы утратили значительную часть генов обоняния и вкуса

Геном муравьев-рабовладельцев изменился из-за упрощения их социальной жизни

N+1
Зачем придумали темную материю Зачем придумали темную материю

Темная материя нужна физикам не просто так

Популярная механика
Лучшие книги для мужчин, которые решили взять быка за рога Лучшие книги для мужчин, которые решили взять быка за рога

Книги, которые превратят застенчивого юношу в уверенного в себе мужчину

Популярная механика
10 самых запоминающихся моментов за всю историю «Премии МУЗ-ТВ» 10 самых запоминающихся моментов за всю историю «Премии МУЗ-ТВ»

Самые казусные и скандальные ситуации на «Премии МУЗ-ТВ»

Cosmopolitan
«Каждый за себя»: как я стала матерью-одиночкой и заработала первый миллион «Каждый за себя»: как я стала матерью-одиночкой и заработала первый миллион

#НЕзависимая Надежда Озимова — как ей удалось создать курс по брендингу

Cosmopolitan
46 рецептов хорошей жизни от древних мудрецов 46 рецептов хорошей жизни от древних мудрецов

Иногда стоит вспомнить о принципах стоицизма

Psychologies
Мария Бразговская Мария Бразговская

Автор масштабных психотерапевтических онлайн-курсов Мария Бразговская

Собака.ru
Достопримечательности мира, опасные для людей Достопримечательности мира, опасные для людей

Оказывается, там, где нас нет, все тоже довольно плохо

Maxim
Два рассказа о чертовой силе чтения Два рассказа о чертовой силе чтения

Два рассказа о чертовой силе чтения

Esquire
Как правильно загорать в солярии: 7 советов от врача Как правильно загорать в солярии: 7 советов от врача

Как загореть в солярии и не навредить себе

Cosmopolitan
Как создать собственную игру Как создать собственную игру

Создать собственную игру — голубая мечта многих геймеров

Популярная механика
8 вещей, о которых хочет поведать миру беременная женщина 8 вещей, о которых хочет поведать миру беременная женщина

Как стоит себя вести с беременной женщиной

Cosmopolitan
Личная жизнь звезд сериала «Каменская»: Яковлевой, Нагиева, Гармаша и других Личная жизнь звезд сериала «Каменская»: Яковлевой, Нагиева, Гармаша и других

Узнай, как сложились судьбы артистов, сыгравших в «Каменской»

Cosmopolitan
IQ-тест — ничто, когнитивная гибкость — все IQ-тест — ничто, когнитивная гибкость — все

Креативность, хорошее воображение, чувство эмпатии куда важнее, чем IQ

Популярная механика
Открыть в приложении