Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

10 вопросов к Энн Хэтэуэй и Мэттью Макконахи 10 вопросов к Энн Хэтэуэй и Мэттью Макконахи

Как Энн и Мэттью пришлось измениться в реальной жизни ради ролей

Playboy
Чудо света Чудо света

Путеводитель по самым хайповым местам на планете

Playboy
Энтеротипы: что это такое и как правильно питаться при каждом из них Энтеротипы: что это такое и как правильно питаться при каждом из них

Почему одни девушки не могут жить без сладкого, а другие выбирают стейки?

Cosmopolitan
Хулиганка и изменница: удивительная жизнь принцессы Маргарет Хулиганка и изменница: удивительная жизнь принцессы Маргарет

Кто бы мог подумать, что такое позволяла себе особа королевской крови

Cosmopolitan
Нефть резко подешевела, а бензин — нет. Почему так происходит? Нефть резко подешевела, а бензин — нет. Почему так происходит?

После обвала стоимости нефти тонна бензина на бирже подорожала на 2000 рублей

РБК
Джастин Тимберлейк и Анна Кендрик о фильме Джастин Тимберлейк и Анна Кендрик о фильме

Эксклюзивное интервью Джастина Тимберлейка и Анны Кендрик о новом фильме

Cosmopolitan
Круче Джоли и Ди Каприо? Юные звезды, которые будут популярны в 2020 году Круче Джоли и Ди Каприо? Юные звезды, которые будут популярны в 2020 году

Кто из новоиспеченных звезд точно добьется высот в нынешнем году

Cosmopolitan
Как превратить внезапные перемены в ресурс? Как превратить внезапные перемены в ресурс?

Можно ли приручить перемены, сделать их созидательными, а не разрушительными?

Psychologies
Пандемия и немного нервно. Кое-что о новой повседневности Пандемия и немного нервно. Кое-что о новой повседневности

Звучит банально, но — по возможности избегайте паники

СНОБ
Киса и Ося здесь были Киса и Ося здесь были

Места славы Остапа Бендера и Ипполита Матвеевича из романа «12 стульев»

Вокруг света
Как продуктивно и комфортно работать из дома: советы издания AdWeek Как продуктивно и комфортно работать из дома: советы издания AdWeek

Как не потерять в удобстве и получать удовольствие от работы из дома

VC.RU
Стоит ли тратить деньги на патчи для глаз или это маркетинговый ход Стоит ли тратить деньги на патчи для глаз или это маркетинговый ход

Действительно ли патчи для глаз избавят от отеков и темных кругов под глазами?

Cosmopolitan
Как начать инвестировать в облигации Как начать инвестировать в облигации

Рекомендации для тех, кто делает первые шаги на фондовом рынке

РБК
Не навреди любовью Не навреди любовью

Мы нередко сами наносим своему ребенку непоправимый вред

Лиза
Изготовлен «супермагнит», способный удержать энергию Солнца Изготовлен «супермагнит», способный удержать энергию Солнца

Первый гигантский сверхпроводящий магнит для токамака ITER готов в Италии

Популярная механика
Антоха MC: «Я никакой не хедлайнер, я просто музыкант» Антоха MC: «Я никакой не хедлайнер, я просто музыкант»

Антоха МС: есть ли в возрасте символичность и что такое «интересная жизнь»

РБК
Дэниел Крейг: “У кого-то другого трава всегда зеленее. Это разрушает” Дэниел Крейг: “У кого-то другого трава всегда зеленее. Это разрушает”

Что значит мужественность для Дэниела Крейга

Psychologies
Сверхпроводники обнаружили сразу в двух метеоритах Сверхпроводники обнаружили сразу в двух метеоритах

Американские ученые обнаружили внеземные сверхпроводящие материалы

N+1
Техосмотр по новым правилам: изменения вступят в силу летом Техосмотр по новым правилам: изменения вступят в силу летом

Процедуру ТО в Минтрансе снова меняют

РБК
Экс-исполнительный директор McDonald’s Боб Лангерт: Нам сложно вводить в меню здоровую пищу Экс-исполнительный директор McDonald’s Боб Лангерт: Нам сложно вводить в меню здоровую пищу

В издательстве «Бомбора» вышла книга «McDonald's: между хейтом и хайпом»

СНОБ
Перемена мест слагаемых: что даст Москве и Киеву новый украинский кабмин Перемена мест слагаемых: что даст Москве и Киеву новый украинский кабмин

Правительство Алексея Гончарука было отправлено в отставку

СНОБ
Один + один Один + один

Какие бьюти-средства усилят действие друг друга, а какие лучше не сочетать

Лиза
Предменструальный синдром как индикатор того, сколько у вас жизненных сил Предменструальный синдром как индикатор того, сколько у вас жизненных сил

Причина перемены настроений во время ПМС кроется в энергетическом статусе

Psychologies
Охотники за подделками Охотники за подделками

Как люкс использует новейшие технологии и ракушки против контрафактной продукции

Robb Report
4 причины, почему ты перестал двигаться вперед по карьерной лестнице 4 причины, почему ты перестал двигаться вперед по карьерной лестнице

Застрял на своей должности?

Playboy
Лидер говорит: как заставить людей услышать вас Лидер говорит: как заставить людей услышать вас

Можно ли этому научиться быть лидером?

Psychologies
Глубокая тайна: что скрывается подо льдами Антарктиды Глубокая тайна: что скрывается подо льдами Антарктиды

Антарктида куда более сложная, чем может показаться на первый взгляд

Популярная механика
10 продуктов, которые помогут похудеть не хуже тренировок 10 продуктов, которые помогут похудеть не хуже тренировок

Чтобы похудеть, надо много есть - но только правильные продукты

Cosmopolitan
Gett создаст первого «виртуального агрегатора» такси на базе «Ситимобил» Gett создаст первого «виртуального агрегатора» такси на базе «Ситимобил»

На рынке агрегаторов такси готовится сделка между двумя крупными игроками

Forbes
Большая перемена Большая перемена

Яркий неординарный интерьер квартиры на Патриарших прудах

SALON-Interior
Открыть в приложении