Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Сила воли: что мешает нам добиваться цели Сила воли: что мешает нам добиваться цели

Проблема отсутствия силы воли – в образе жизни, который ее ослабляет

Psychologies
Родион Шишков Родион Шишков

Родион Шишков — основатель онлайн-магазина продуктов с доставкой «Самокат»

Собака.ru
Против филлеров: звёзды с тонкими губами, которые не хотят их увеличивать Против филлеров: звёзды с тонкими губами, которые не хотят их увеличивать

Многие звезды решили не гнаться за модой и остались верны себе

Cosmopolitan
Работающая мама и школьник на карантине: уроки выживания Работающая мама и школьник на карантине: уроки выживания

Как организовать дистанционное обучения ребенка, когда самой нужно работать

Forbes
Мать или героиня? Мать или героиня?

Почему матерям бывает так тяжело, и что с этим делать?

Добрые советы
Дэниел Крейг: “У кого-то другого трава всегда зеленее. Это разрушает” Дэниел Крейг: “У кого-то другого трава всегда зеленее. Это разрушает”

Что значит мужественность для Дэниела Крейга

Psychologies
Будущее – сейчас Будущее – сейчас

Тренды существуют не только в моде: косметология и медицина тоже задают их

Домашний Очаг
Фильмы и сериалы: как потратить с пользой два часа в день, которые даёт самоизоляция Фильмы и сериалы: как потратить с пользой два часа в день, которые даёт самоизоляция

Подборка полезных фильмов и сериалов, которые расскажут что-то новое о бизнесе

VC.RU
Как перестать кричать на детей и добиваться желаемого по-другому Как перестать кричать на детей и добиваться желаемого по-другому

Телесные наказания неэффективны и вредят детям — это известно большинству из нас

Psychologies
Как начать инвестировать в облигации Как начать инвестировать в облигации

Рекомендации для тех, кто делает первые шаги на фондовом рынке

РБК
Исабель Альенде: По ту сторону зимы Исабель Альенде: По ту сторону зимы

Отрывок из романа Исабель Альенде «По ту сторону зимы»

СНОБ
Диета с высоким содержанием соли снизила иммунитет Диета с высоким содержанием соли снизила иммунитет

Диета с высоким содержанием соли ухудшает развитие пиелонифрита у мышей

N+1
Как совмещать йогу и силовые тренировки Как совмещать йогу и силовые тренировки

Возможно ли одновременно развивать силу и гибкость?

Yoga Journal
Быль об Эболе Быль об Эболе

Как протекала Эбола, и почему миру тогда крупно повезло

Maxim
Личная инициатива Личная инициатива

Любовь к себе – насколько она важна и опасна одновременно

Grazia
Под знаком «упс!»: 10 маленьких ошибок, которые привели к большим последствиям Под знаком «упс!»: 10 маленьких ошибок, которые привели к большим последствиям

Незначительные ошибки, которые привели к последствиям огромных масштабов

Maxim
Неувольняемые: кому всегда будут платить миллионы на рынке труда Неувольняемые: кому всегда будут платить миллионы на рынке труда

Навыки продуктивного нетворкинга станут ключевым преимуществом в бизнесе

Forbes
10 вопросов к Энн Хэтэуэй и Мэттью Макконахи 10 вопросов к Энн Хэтэуэй и Мэттью Макконахи

Как Энн и Мэттью пришлось измениться в реальной жизни ради ролей

Playboy
«Человек-невидимка» – блестящая иллюстрация термина «газлайтинг» «Человек-невидимка» – блестящая иллюстрация термина «газлайтинг»

Как женщина может почувствовать себя неполноценной или даже безумной

GQ
Что значит поза, в которой спит твоя кошка (7 поз) Что значит поза, в которой спит твоя кошка (7 поз)

Еще один шаг к пониманию этих загадочных пушистых богов

Maxim
Какие хоккейные матчи стоит пересмотреть Какие хоккейные матчи стоит пересмотреть

Главные игры за историю хоккея

GQ
Самые полезные диеты: 3 методики для здоровья и ясного ума Самые полезные диеты: 3 методики для здоровья и ясного ума

Существуют ли действительно оздоравливающие диеты или это лишь рекламный трюк

Cosmopolitan
Конец салонной эпохи Конец салонной эпохи

Почему некогда популярный формат автосалона уходит в историю

Robb Report
«Элементарно, Ватсон!»: чем нам полезны детективные истории «Элементарно, Ватсон!»: чем нам полезны детективные истории

Тайны, как и детские сказки, уводят нас от страха к уверенности

Psychologies
«Учеба «в бою» гораздо эффективнее любой теории» «Учеба «в бою» гораздо эффективнее любой теории»

Технологические стартапы — это интеллектуальная собственность нового типа

Forbes
Высокое давление: 6 ошибок, которые могут привести к гипертонии Высокое давление: 6 ошибок, которые могут привести к гипертонии

Если ваше давление выше, чем 130/90, вам стоит обратиться к врачу

Cosmopolitan
За спиной Цукерберга. Как миллиардеры сделали рюкзак частью делового дресс-кода За спиной Цукерберга. Как миллиардеры сделали рюкзак частью делового дресс-кода

Сейчас рюкзаки можно носить с костюмами Brioni и на встречи с президентами

Forbes
Физики послушали лопающийся мыльный пузырь Физики послушали лопающийся мыльный пузырь

Физики измерили звуковое давление лопающихся мыльных пузырей

N+1
Кроссоверы на больших колёсах Кроссоверы на больших колёсах

Кроссоверы стремятся выглядеть модными и стремительными

4x4 Club
9 неочевидных симптомов бесплодия, о которых стоит знать каждой паре 9 неочевидных симптомов бесплодия, о которых стоит знать каждой паре

Если вы не можете забеременеть в течение полугода, вам пора обратиться к врачу

Cosmopolitan
Открыть в приложении