Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Менеджеры паролей: что это такое и чем полезны? Менеджеры паролей: что это такое и чем полезны?

Надоело запоминать пароли к разным ресурсам?

CHIP
Бомбически рекомендую! Владимир Яглыч советует понравившиеся фильмы, сериалы и музыку Бомбически рекомендую! Владимир Яглыч советует понравившиеся фильмы, сериалы и музыку

Актер Владимир Яглыч рассказывает, что на него произвело сильное впечатление

Maxim
«Я продаю свой «Майбах»: как ресторатор Владимир Перельман спасает бизнес от полного краха «Я продаю свой «Майбах»: как ресторатор Владимир Перельман спасает бизнес от полного краха

Как сохранить костяк команды в кризис?

Forbes
«Зло местами побеждает»: экс-кандидат в президенты Павел Грудинин о борьбе за свой бизнес «Зло местами побеждает»: экс-кандидат в президенты Павел Грудинин о борьбе за свой бизнес

Борьба за «Совхоз имени Ленина» переросла в полномасштабную войну в судах

Forbes
Пью за вас Пью за вас

Британка Флоренс Пью с разбегу взлетает на вершину Голливудского холма

Vogue
Александр Дворкин: Есть ли раскол в Русской Православной церкви? Ответ Артему Нарышкину Александр Дворкин: Есть ли раскол в Русской Православной церкви? Ответ Артему Нарышкину

Артем Нарышкину отвечает кандидат богословия, доктор философии, профессор

СНОБ
«Это настоящая детективная история»: как свитки Мертвого моря из музея в Вашингтоне оказались фальшивками «Это настоящая детективная история»: как свитки Мертвого моря из музея в Вашингтоне оказались фальшивками

Свитки Мертвого моря были созданы в XX веке из древних кожаных башмаков

Esquire
Компании сошли с ума: они производят контент, а не товары Компании сошли с ума: они производят контент, а не товары

Зачем компании превращаются в медиа и тратят на это ресурсы?

Forbes
Как игра Minecraft помогает учить английский и получать финансирование от ООН Как игра Minecraft помогает учить английский и получать финансирование от ООН

Рассказ об одной из самых известных игр в мире — Minecraft

СНОБ
Боязнь воды и продажа БАДов: 9 удивительных фактов о Дженнифер Энистон Боязнь воды и продажа БАДов: 9 удивительных фактов о Дженнифер Энистон

Есть факты о Дженнифер Энистон, о которых ты точно не знаешь

Cosmopolitan
Как удалить программы из автозагрузки и ускорить компьютер Как удалить программы из автозагрузки и ускорить компьютер

Как ускорить запуск компьютера за счет оптимизации автозагрузки

CHIP
Закулисье процесса века Закулисье процесса века

Расширение списка злодеяний гитлеровского режима оказалось сложной задачей

Дилетант
2A или 30C: в какой части самолета больше шансов выжить 2A или 30C: в какой части самолета больше шансов выжить

Исследователи жестко посадили полностью работоспособный Boeing 727

Популярная механика
Как выйти из созависимых отношений: 7 шагов к здоровому союзу Как выйти из созависимых отношений: 7 шагов к здоровому союзу

Как понять, что у тебя нездоровая привязанность, и выйти из таких отношений?

Playboy
«Зарплаты будут уже не те». Автосалоны и заводы закрываются «Зарплаты будут уже не те». Автосалоны и заводы закрываются

Дилерские центры и заводы всех марок в России с 30 марта закроют на карантин

РБК
Ученые предложили метод повышения эффективности солнечных батарей Ученые предложили метод повышения эффективности солнечных батарей

Метод, который позволит сделать солнечные батареи заметно более эффективными

Популярная механика
Он вернул нам 90-е: кто такой Антон Лапенко, и почему все о нем говорят Он вернул нам 90-е: кто такой Антон Лапенко, и почему все о нем говорят

Как простому парню из многодетной семьи удается набирать миллионы просмотров

Cosmopolitan
Бунт Лимонова: перевернутая страница русской литературы Бунт Лимонова: перевернутая страница русской литературы

Все жизненные поступки Эдуарда Лимонова были подчинены литературе

Forbes
На колёсах: как появился автомобиль На колёсах: как появился автомобиль

Автомобиль — одно из самых важных изобретений человечества

Популярная механика
Тепло под ногами: как эффективно обогреть любую площадь Тепло под ногами: как эффективно обогреть любую площадь

Трудно представить себе современное жильё без отопления

Популярная механика
Остаться с носом Остаться с носом

Как быстро распознать гайморит, чтобы не упустить время?

Добрые советы
Шпионские штучки Шпионские штучки

Самые запоминающиеся гаджеты Джеймса Бонда

Популярная механика
Миллион в Мадрасе Миллион в Мадрасе

Роберт Клайв – неформальный хозяин Индии и один из первых британских миллионеров

Maxim
Как оставаться в форме даже в режиме самоизоляции. Интервью с тренером Павлом Кондрашевым Как оставаться в форме даже в режиме самоизоляции. Интервью с тренером Павлом Кондрашевым

Павел Кондрашев о том, как поддерживать форму и иммунитет в изоляции

СНОБ
Взглянуть по-новому Взглянуть по-новому

Когда ничего не помогает распахнуть взгляд, в дело вступают пластические хирурги

Собака.ru
Метеозависимость, рассол от похмелья и 3 других мифа о головной боли Метеозависимость, рассол от похмелья и 3 других мифа о головной боли

Врач-невролог Дмитрий Шубин отделяет зерна от плевел, а мифы — от правды

Популярная механика
Это судьба, или Как психология объясняет карму Это судьба, или Как психология объясняет карму

Есть ли научное подтверждение нашей вере в «карму»?

Psychologies
«Замедлим распространение этой хрени»: как и зачем российский бизнес переходит на удаленку «Замедлим распространение этой хрени»: как и зачем российский бизнес переходит на удаленку

Почему нельзя работать в пижаме и зачем включать видео при созвонах?

Forbes
Как успеть продать компьютер, пока он не стал ненужным хламом? Как успеть продать компьютер, пока он не стал ненужным хламом?

Когда технику можно продать за достойные деньги?

CHIP
Как продуктивно и комфортно работать из дома: советы издания AdWeek Как продуктивно и комфортно работать из дома: советы издания AdWeek

Как не потерять в удобстве и получать удовольствие от работы из дома

VC.RU
Открыть в приложении