Почему научить машину писать — легко, а искать ошибки в написанном — трудно

VC.RUHi-Tech

Обработка естественного языка: как создать «грамотного робота»

Узнали у разработчиков, почему научить машину писать — легко, а искать ошибки в написанном — трудно.

1280

Уже десяток российских команд включились в сложнейшую задачу по машинному обучению. Вот её условия:

Дано: реальные сочинения с ЕГЭ на двух языках — русском и английском. Их разметили школьные учителя: выделили смысловые блоки (аргументы, примеры, выводы) и нашли ошибки. В их числе — нарушение логики, искажение смысла, несоответствие теме.

1280

Задача: создать алгоритм, который сможет размечать такие же тексты и находить ошибки не хуже учителей. То есть разметка алгоритма должна отличаться от разметок педагогов не сильнее, чем разметки педагогов отличаются друг от друга. Язык можно выбрать на своё усмотрение.

Мы пообщались с тремя командами, работающими над решением.

  • «Антиплагиат» разработал одноимённый сервис обнаружения заимствований в текстах. В конкурсной команде эксперты в области машинного обучения, исследователи-алгоритмисты и специалисты по подготовке данных.
  • В составе команды «Наносемантика» — сотрудники «Нейросетей Ашманова» и системы проверки правописания «ОРФО»: нейросетевики, разработчики и лингвисты.
  • Команда DeepPavlov сформировалась во время работы над библиотекой разговорного AI DeepPavlov. Все участники — сотрудники лаборатории МФТИ.

Расскажите про своё решение. Какие ошибки оно уже определяет? Использовали в нём готовые модули или собственные наработки?

Антиплагиат: Делиться секретами до подведения хотя бы предварительных итогов было бы очень самонадеянно. Создание такого непростого алгоритма — задача творческая, каждая команда идёт к её решению особым путём.

Что касается результатов, то наш алгоритм приблизился к человеку в плане обнаружения грамматических ошибок.

Наносемантика: Конкурс лежит прямо в русле нашей работы. Мы развиваем одну из самых продвинутых систем проверки правописания — «ОРФО» — и как раз сейчас доделываем для неё английский граммер. А заодно экспериментируем с нейросетевыми модулями для выявления сложных ошибок — например, в расстановке артиклей, употреблении форм глагола или выборе слов из тех, которые для иностранца звучат похоже (steal вместо still или thin вместо thing).

Мы не стали ничего выдумывать, а просто попробовали подготовить бета-версию некоего продукта, напоминающего тот, который мы собираемся выпустить в будущем. Получилась в лучшем случае альфа (что тоже неплохо) — и, конечно, не хватило нескольких дней на то, чтобы выявить и исправить кучу крайне обидных ошибок. Не говоря уже о том, чтобы что-то отполировать.

Если в двух словах, то наше решение — соединение нейромодулей с традиционным граммером на правилах, который пока находит больше ошибок, но и сам ошибается чаще.

Это решение не было самым простым — кажется, мы знаем, как написать примитивную заглушку, которая формально дала бы результаты получше. И не удивлюсь, если какая-то из команд в условиях цейтнота так и поступила. Но мы заметно продвинулись в тех направлениях, в которых хотели продвинуться. Судя по разметке экспертов в доступных эссе, наша модель уже исправляет артикли не хуже среднестатистического учителя. Не знаем, насколько это серьёзный комплимент.

1280

На скриншоте — редкий пример текста, в котором найдено много ошибок. К другим эссе у нейросети претензий было меньше — часто одна-две, иногда ни одной. Сочинение, впрочем, действительно выдающееся: внимательный читатель, хотя бы немного знающий английский, легко найдёт в нём ошибки, которые наши модули пропустили.

Среди отмеченных ошибок, к сожалению, встречаются и ложные срабатывания. В предложении «дети предпочитают компьютерные игры обучению» нейросеть предлагает добавить местоимение (them), но тогда смысл исказится: «дети предпочитают играть в компьютерные игры, а не изучать их».

DeepPavlov: Мы использовали буквально всё, что могли, из нашей библиотеки и не только из неё. Для конкурса Alexa Prize от Amazon мы разработали DeepPavlov Agent — платформу для оркестрирования диалогов. Она отлично подошла и для этого конкурса и позволила нам совмещать несколько моделей, управлять ими и агрегировать результаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Не думайте о покупателе: как вырастить стартап, который купит Apple Не думайте о покупателе: как вырастить стартап, который купит Apple

Что необходимо учитывать при создании стартапа, чтобы заинтересовать Apple

Forbes
Все сбудется Все сбудется

Чего только не делают люди, чтобы исполнилось их желание

Лиза
Правда ли, что самовар появился в России? Правда ли, что самовар появился в России?

Как и когда появилась самая необходимая русская вещь?

Культура.РФ
7 слов, помогающих жить в неопределенности 7 слов, помогающих жить в неопределенности

Как существовать в эти смутные времена полноценно, не теряя ни дня своей жизни?

Psychologies
Это должен знать каждый водитель. Как правильно показывать машину полиции Это должен знать каждый водитель. Как правильно показывать машину полиции

Какая разница между осмотром автомобиля и досмотром?

РБК
Самые популярные позы для сидения на диване с девушкой и что они значат Самые популярные позы для сидения на диване с девушкой и что они значат

Что значат самые ходовые позы для обнимашек на диване

Maxim
Выпускают змей и устраивают дебоши: звезды, на которых жалуются соседи Выпускают змей и устраивают дебоши: звезды, на которых жалуются соседи

Талантливые творческие люди не всегда могут быть приятными в быту

Cosmopolitan
Gram против доллара Gram против доллара

Американская Комиссия по ценным бумагам и биржам закрыла проект Павла Дурова TON

Forbes
Режиссер фильма «Ма Рейни: мать блюза» Джордж С. Вольф — о последней роли Чедвика Боузмана Режиссер фильма «Ма Рейни: мать блюза» Джордж С. Вольф — о последней роли Чедвика Боузмана

Изнурительный съемочный процесс и наследие Чедвика Боузмана

Esquire
Как в кино: какая она — любовь во снах и наяву Как в кино: какая она — любовь во снах и наяву

Что говорит о нас неопределенность сегодняшнего дня?

РБК
Как изменились наши представления о комфорте? Объясняет Hyundai Elantra Как изменились наши представления о комфорте? Объясняет Hyundai Elantra

В XXI веке комфорт — это не плавность хода автомобиля

Maxim
Последние слова заключенных перед смертной казнью Последние слова заключенных перед смертной казнью

Страшная тюремная энциклопедия из Техаса

Maxim
Алиса Фрейндлих и другие знаменитости, пережившие блокаду Ленинграда Алиса Фрейндлих и другие знаменитости, пережившие блокаду Ленинграда

В блокаде оказались и будущие актеры, музыканты, чьи воспоминания мы собрали

Cosmopolitan
Признаки беременности: как распознать их до задержки Признаки беременности: как распознать их до задержки

Какие бывают признаки беременности на ранних сроках?

Cosmopolitan
Идеальный джентльмен: что носил на экране и в жизни Хамфри Богарт — лучший актер в истории американского кино Идеальный джентльмен: что носил на экране и в жизни Хамфри Богарт — лучший актер в истории американского кино

Образы Хамфри Богарта можно считать энциклопедией мужской моды 1930-1950-х годов

Esquire
Кардашьяны, Бондарчуки, Михалковы и Урганты: самые влиятельные кланы шоу-бизнеса Кардашьяны, Бондарчуки, Михалковы и Урганты: самые влиятельные кланы шоу-бизнеса

Иногда для того, чтобы стать звездой, необходимо родиться в правильной семье

Cosmopolitan
Какие фильмы смотрели в России 30 лет назад Какие фильмы смотрели в России 30 лет назад

Какие отечественные фильмы смотрели россияне в 1990-м и 1991-м

GQ
«Кризис на всем ходу врезался в вершину пирамиды Маслоу»: как 2020 год подвинул современное искусство ближе к людям «Кризис на всем ходу врезался в вершину пирамиды Маслоу»: как 2020 год подвинул современное искусство ближе к людям

Итоги года для российского искусства

Forbes
Ким Бейсингер в девяностых как олицетворение сексуальности — на экране и в жизни Ким Бейсингер в девяностых как олицетворение сексуальности — на экране и в жизни

Звезда «Бэтмена» и «Высокой моды» Ким Бейсингер стала секс-символом девяностых

Esquire
Правила жизни Джуди Денч Правила жизни Джуди Денч

Актриса, Лондон, 86 лет

Esquire
19 м² 19 м²

Двухуровневая квартира Александры Ермиловой из BüroBlanc в здании бывшей фабрики

AD
Возвращение Возвращение

Квартира в центре Санкт-Петербурга с атмосферой семейного быта прошлых веков

SALON-Interior
Кто и как развивает удмуртские села Кто и как развивает удмуртские села

Какие социокультурные проекты объединяют Удмуртию и причем тут ролевики

СНОБ
Индустрия Индустрия

Генпродюсер канала «Пятница!» – о том, не напрасно ли мы прожили нулевые

Esquire
Тюлени Уэдделла пообщались с сородичами ультразвуком Тюлени Уэдделла пообщались с сородичами ультразвуком

Ранее считалось, что ластоногие не производят ультразвук

N+1
«Родить успею»: как женщины в XIX веке выбрали образование и карьеру «Родить успею»: как женщины в XIX веке выбрали образование и карьеру

Отрывок из книги «Сметая запреты» о русской сексуальной культуре XI-XX веков

Forbes
На самоизоляции с крестным отцом Фрэнсисом Фордом Копполой На самоизоляции с крестным отцом Фрэнсисом Фордом Копполой

Каково это, на семь месяцев уединиться с легендарным режиссер и его семьей?

Esquire
Какие тайны скрывает фильм «Шоколад»? Мнение психолога Какие тайны скрывает фильм «Шоколад»? Мнение психолога

Что нам известно о своей Тени?

Psychologies
20 вопросов к Шону Коннери 20 вопросов к Шону Коннери

Эксклюзивное интервью с Шоном Коннери 2005-го года

Playboy
6 самых важных частей резюме, на которые стоит обратить внимание (и что в них указать) 6 самых важных частей резюме, на которые стоит обратить внимание (и что в них указать)

От этого могут зависеть твои шансы получить работу

Playboy
Открыть в приложении