Почему научить машину писать — легко, а искать ошибки в написанном — трудно

VC.RUHi-Tech

Обработка естественного языка: как создать «грамотного робота»

Узнали у разработчиков, почему научить машину писать — легко, а искать ошибки в написанном — трудно.

1280

Уже десяток российских команд включились в сложнейшую задачу по машинному обучению. Вот её условия:

Дано: реальные сочинения с ЕГЭ на двух языках — русском и английском. Их разметили школьные учителя: выделили смысловые блоки (аргументы, примеры, выводы) и нашли ошибки. В их числе — нарушение логики, искажение смысла, несоответствие теме.

1280

Задача: создать алгоритм, который сможет размечать такие же тексты и находить ошибки не хуже учителей. То есть разметка алгоритма должна отличаться от разметок педагогов не сильнее, чем разметки педагогов отличаются друг от друга. Язык можно выбрать на своё усмотрение.

Мы пообщались с тремя командами, работающими над решением.

  • «Антиплагиат» разработал одноимённый сервис обнаружения заимствований в текстах. В конкурсной команде эксперты в области машинного обучения, исследователи-алгоритмисты и специалисты по подготовке данных.
  • В составе команды «Наносемантика» — сотрудники «Нейросетей Ашманова» и системы проверки правописания «ОРФО»: нейросетевики, разработчики и лингвисты.
  • Команда DeepPavlov сформировалась во время работы над библиотекой разговорного AI DeepPavlov. Все участники — сотрудники лаборатории МФТИ.

Расскажите про своё решение. Какие ошибки оно уже определяет? Использовали в нём готовые модули или собственные наработки?

Антиплагиат: Делиться секретами до подведения хотя бы предварительных итогов было бы очень самонадеянно. Создание такого непростого алгоритма — задача творческая, каждая команда идёт к её решению особым путём.

Что касается результатов, то наш алгоритм приблизился к человеку в плане обнаружения грамматических ошибок.

Наносемантика: Конкурс лежит прямо в русле нашей работы. Мы развиваем одну из самых продвинутых систем проверки правописания — «ОРФО» — и как раз сейчас доделываем для неё английский граммер. А заодно экспериментируем с нейросетевыми модулями для выявления сложных ошибок — например, в расстановке артиклей, употреблении форм глагола или выборе слов из тех, которые для иностранца звучат похоже (steal вместо still или thin вместо thing).

Мы не стали ничего выдумывать, а просто попробовали подготовить бета-версию некоего продукта, напоминающего тот, который мы собираемся выпустить в будущем. Получилась в лучшем случае альфа (что тоже неплохо) — и, конечно, не хватило нескольких дней на то, чтобы выявить и исправить кучу крайне обидных ошибок. Не говоря уже о том, чтобы что-то отполировать.

Если в двух словах, то наше решение — соединение нейромодулей с традиционным граммером на правилах, который пока находит больше ошибок, но и сам ошибается чаще.

Это решение не было самым простым — кажется, мы знаем, как написать примитивную заглушку, которая формально дала бы результаты получше. И не удивлюсь, если какая-то из команд в условиях цейтнота так и поступила. Но мы заметно продвинулись в тех направлениях, в которых хотели продвинуться. Судя по разметке экспертов в доступных эссе, наша модель уже исправляет артикли не хуже среднестатистического учителя. Не знаем, насколько это серьёзный комплимент.

1280

На скриншоте — редкий пример текста, в котором найдено много ошибок. К другим эссе у нейросети претензий было меньше — часто одна-две, иногда ни одной. Сочинение, впрочем, действительно выдающееся: внимательный читатель, хотя бы немного знающий английский, легко найдёт в нём ошибки, которые наши модули пропустили.

Среди отмеченных ошибок, к сожалению, встречаются и ложные срабатывания. В предложении «дети предпочитают компьютерные игры обучению» нейросеть предлагает добавить местоимение (them), но тогда смысл исказится: «дети предпочитают играть в компьютерные игры, а не изучать их».

DeepPavlov: Мы использовали буквально всё, что могли, из нашей библиотеки и не только из неё. Для конкурса Alexa Prize от Amazon мы разработали DeepPavlov Agent — платформу для оркестрирования диалогов. Она отлично подошла и для этого конкурса и позволила нам совмещать несколько моделей, управлять ими и агрегировать результаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Не думайте о покупателе: как вырастить стартап, который купит Apple Не думайте о покупателе: как вырастить стартап, который купит Apple

Что необходимо учитывать при создании стартапа, чтобы заинтересовать Apple

Forbes
Голубой цвет елям придают нанотрубки Голубой цвет елям придают нанотрубки

Почему некоторые ели имеют голубой цвет иголок?

Популярная механика
Все те же лица. Тест-драйв Kia Sorento и Skoda Kodiaq Все те же лица. Тест-драйв Kia Sorento и Skoda Kodiaq

Это не просто очередной сравнительный тест-драйв, а битва философий

РБК
63 м² 63 м²

Дизайнер Семен Бортник создал интеллигентную атмосферу в новосибирской квартире

AD
Даня Милохин: «Я не умею петь!» Даня Милохин: «Я не умею петь!»

Блогер Даня Милохин: о музыке, Москве и счастье

ЖАРА Magazine
Никто не Вуди Аллен: 10 малоизвестных шедевров режиссера Никто не Вуди Аллен: 10 малоизвестных шедевров режиссера

10 неожиданных картин Вуди Аллена, которые вы могли пропустить

Forbes
Не успела в салон: 5 домашних масок для волос с мгновенным эффектом Не успела в салон: 5 домашних масок для волос с мгновенным эффектом

Эти маски восстановят блеск и шикарный внешний вид волос за считанные минуты

Cosmopolitan
Правила жизни Амаяка Акопяна Правила жизни Амаяка Акопяна

Правила жизни народного волшебника Амаяка Акопяна

Esquire
Эпиляция хлебом по-древнерусски и другие старинные мужские способы борьбы с растительностью на лице Эпиляция хлебом по-древнерусски и другие старинные мужские способы борьбы с растительностью на лице

Как люди брились до изобретения одноразовых станков?

Maxim
«Чемпионы соцсетей»: чем опасны для компаний популярные в TikTok сотрудники «Чемпионы соцсетей»: чем опасны для компаний популярные в TikTok сотрудники

Инфлюенсер в TikTok может как заменить отдел маркетинга, так и ударить по бренду

Forbes
Отрывок из книги Александра Абалова и Владислава Иноземцева «Бесконечная империя» Отрывок из книги Александра Абалова и Владислава Иноземцева «Бесконечная империя»

Отрывок из книги «Бесконечная империя: Россия в поисках себя»

СНОБ
Почему отправлять готовые поздравления — не лучшая идея Почему отправлять готовые поздравления — не лучшая идея

Почему далеко не все рады готовым поздравлениям и стоит ли их посылать?

Psychologies
Потому что могу Потому что могу

Фитнес-гуру Наташа Давыдова теперь на ТВ

Glamour
На самоизоляции с крестным отцом Фрэнсисом Фордом Копполой На самоизоляции с крестным отцом Фрэнсисом Фордом Копполой

Каково это, на семь месяцев уединиться с легендарным режиссер и его семьей?

Esquire
Правила жизни Джейн Биркин Правила жизни Джейн Биркин

Актриса, певица, Лондон, 74 года

Esquire
Безопасно ли принимать витамины — врач рассказывает о последствиях Безопасно ли принимать витамины — врач рассказывает о последствиях

Чем грозит переизбыток витаминов и почему нельзя принимать их самостоятельно

Cosmopolitan
Разгладить по пробору Разгладить по пробору

Что делать, если выпадают волосы?

Худеем правильно
Выживают только параноики Выживают только параноики

Как использовать кризисные периоды, с которыми сталкивается любая компания

kiozk originals
Что будет, если съесть самую острую еду в мире Что будет, если съесть самую острую еду в мире

Самая острая еда в мире и что будет, если неподготовленный человек съест ее

Популярная механика
Кошелек или иск: как брокеры пытаются взыскать долги с потерявших более ₽1 млрд из-за отрицательных цен на нефть Кошелек или иск: как брокеры пытаются взыскать долги с потерявших более ₽1 млрд из-за отрицательных цен на нефть

Что известно о человеке, инициировавшем иск пострадавших инвесторов к Мосбирже?

Forbes
Что будет, если ездить с затертыми номерами. Юристы все объяснили Что будет, если ездить с затертыми номерами. Юристы все объяснили

Удастся ли обмануть инспектора и дорожные камеры, если стереть краску с номера?

РБК
Груз потери: как влияет на семью смерть ребенка Груз потери: как влияет на семью смерть ребенка

Психологи объясняют, как справиться с потерей беременности и ребенка

Psychologies
Кибербаг: как выход самой долгожданной игры года стал катастрофой для фанатов и инвесторов Кибербаг: как выход самой долгожданной игры года стал катастрофой для фанатов и инвесторов

Почему долгожданный релиз обернулся катастрофой для инвесторов и фанатов игр?

Forbes
Гепарды не захотели охотиться на скот вдали от деревьев для меток Гепарды не захотели охотиться на скот вдали от деревьев для меток

На территории гепардов есть так называемые «узлы связи»

N+1
«Дурная кровь»: отрывок из новой книги Джоан Роулинг из цикла о детективе Корморане Страйке «Дурная кровь»: отрывок из новой книги Джоан Роулинг из цикла о детективе Корморане Страйке

Отрывок из детективного романа Роберта Гэлбрейта (псевдоним Джоан Роулинг)

Forbes
На БАК измерили сильное взаимодействие между протонами и редкими гиперонами На БАК измерили сильное взаимодействие между протонами и редкими гиперонами

Измерение взаимодействия между протонами и двумя типами гиперонов

N+1
5 лучших кинообзоров BadComedian 5 лучших кинообзоров BadComedian

Обзоры BadComedian как вокзальный чебурек

Maxim
Это продлит тебе годы: 9 полезных пищевых привычек от долгожителей Это продлит тебе годы: 9 полезных пищевых привычек от долгожителей

9 полезных правил, которые помогут прожить дольше

Playboy
72 м² 72 м²

Заказчица Екатерины Угловой решила не экономить на диване и кухне

AD
Типичная Лена и другие стандарты Типичная Лена и другие стандарты

Самые знаменитые тестовые объекты в программировании, сжатии и безопасности

Популярная механика
Открыть в приложении