Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

За что казнили Джордано Бруно За что казнили Джордано Бруно

Джордано Бруно окончил свою жизнь на костре за совсем другие «прегрешения»

Дилетант
Невозможное возможно: как найти иголку в стоге сена Невозможное возможно: как найти иголку в стоге сена

Реальные способы, с помощью которых можно найти иголку в стоге сена

Популярная механика
Христианство и патриотизм. Продолжение полемики Артема Нарышкина и Александра Дворкина Христианство и патриотизм. Продолжение полемики Артема Нарышкина и Александра Дворкина

Артем Нарышкин отвечает на упреки Александра Дворкина

СНОБ
Проклятые картины: 7 полотен, которые приносили своим владельцам несчастья Проклятые картины: 7 полотен, которые приносили своим владельцам несчастья

Эти семь полотен считаются проклятыми

Cosmopolitan
Вопросы на засыпку Вопросы на засыпку

Найдите ответы на пять простых, но каверзных вопросов, призвав на помощь логику

Наука и жизнь
Как соцсети испортили мир Как соцсети испортили мир

Почему социальные сети приносят в наш мир раздор и негатив

Psychologies
В поисках идеального равновесия В поисках идеального равновесия

Как найти баланс в отношениях с любимым человеком?

Yoga Journal
Как правильно надевать и носить бандаж для беременных Как правильно надевать и носить бандаж для беременных

Бандаж для беременных облегчает издержки, свойственные периоду вынашивания

Cosmopolitan
Что читать: отрывок из нового романа Стивена Кинга «Институт» — об интернате для детей с необычными способностями Что читать: отрывок из нового романа Стивена Кинга «Институт» — об интернате для детей с необычными способностями

Четыре главки из новой книги Стивена Кинга: знакомство с одним из главных героев

Esquire
Бомбически рекомендую! Владимир Яглыч советует понравившиеся фильмы, сериалы и музыку Бомбически рекомендую! Владимир Яглыч советует понравившиеся фильмы, сериалы и музыку

Актер Владимир Яглыч рассказывает, что на него произвело сильное впечатление

Maxim
Исабель Альенде: По ту сторону зимы Исабель Альенде: По ту сторону зимы

Отрывок из романа Исабель Альенде «По ту сторону зимы»

СНОБ
Конец света: почему ксенон вымирает, а галогенки будут жить вечно Конец света: почему ксенон вымирает, а галогенки будут жить вечно

Вместе с самими автомобилями эволюционируют их комплектующие

Популярная механика
7 блюд из гречки: что делать со скупленной крупой 7 блюд из гречки: что делать со скупленной крупой

Семь разнообразных блюд, которые сделают из тебя гуру гречки

Cosmopolitan
Хронический стресс повлиял на сперму через внеклеточные везикулы Хронический стресс повлиял на сперму через внеклеточные везикулы

Ученые обнаружили механизм эпигенетического влияния стресса на сперму

N+1
Астрономы выявили поляризационную структуру быстрого радиовсплеска Астрономы выявили поляризационную структуру быстрого радиовсплеска

Однозначный выводов о природе источника пока сделать не удается

N+1
Частое сидение на корточках не засчитали за сидячий образ жизни Частое сидение на корточках не засчитали за сидячий образ жизни

«В природе» человек должен нагружать мышцы и во время поддержания статичных поз

N+1
Гуппи не стали конкурировать с братьями за самку Гуппи не стали конкурировать с братьями за самку

Самцы гуппи предпочитают самок, за которыми еще не ухаживают

N+1
Черные грибы Чернобыля Черные грибы Чернобыля

Жизнь способна укротить даже смертоносную радиацию и использовать ее во благо

Популярная механика
Целительная сила «мелочей» в эпоху большого стресса Целительная сила «мелочей» в эпоху большого стресса

Глобальные, пугающие события и проблемы выбивают нас из колеи

Psychologies
Медицина тут бессильна Медицина тут бессильна

Почему мы все по-разному относимся к здоровью

Лиза
Худшая распродажа впереди: аналитики и банкиры предупредили о новом падении на рынках Худшая распродажа впереди: аналитики и банкиры предупредили о новом падении на рынках

Падение на мировых фондовых рынках еще не закончено

Forbes
Первые шаги к миллиарду: с чего начинали Галицкий, Дуров, Тиньков, Фридман и Абрамович Первые шаги к миллиарду: с чего начинали Галицкий, Дуров, Тиньков, Фридман и Абрамович

34-ый выпуск Forbes Digest посвящен разбору первых шагов в бизнесе миллиардеров

Forbes
Анат Гайгер: «Когда есть танец энергий Инь и Ян — случается магия» Анат Гайгер: «Когда есть танец энергий Инь и Ян — случается магия»

Анат Гайгер, преподаватель направлений Хатха, Виньяса, Инь-йога

Yoga Journal
Ужасный конец или ужас без конца: почему развал сделки ОПЕК+ был неизбежен Ужасный конец или ужас без конца: почему развал сделки ОПЕК+ был неизбежен

Сдерживание добычи бессмысленно

Forbes
Путешествие в тарантасе с кокурками, скородумками и другим дорожным припасом Путешествие в тарантасе с кокурками, скородумками и другим дорожным припасом

Домашние припасы по-гоголевски

Наука и жизнь
Женщина — военный трофей. Польский историк о изнасилованиях в Европе во время Второй мировой Женщина — военный трофей. Польский историк о изнасилованиях в Европе во время Второй мировой

Изнасилование женщин странами-победительницами до сих пор очень болезненная тема

СНОБ
Почему даже профессиональные спортсмены стремятся к осознанности? Почему даже профессиональные спортсмены стремятся к осознанности?

Как ментальная подготовка стала неотъемлемой частью тренировочного процесса

GQ
Двойной удар: как Китай и ФРС напугали инвесторов Двойной удар: как Китай и ФРС напугали инвесторов

Фондовые рынки Азии, Европы и России закрылись в минусе

Forbes
Правила жизни Изабель Юппер Правила жизни Изабель Юппер

Правила жизни актрисы Изабель Юппер

Esquire
«Женщина, которая бьется и страдает». Какой Марию Шарапову запомнит мир спорта «Женщина, которая бьется и страдает». Какой Марию Шарапову запомнит мир спорта

Рассказываем, чем запомнилась карьера самой известной российской спортсменки

Esquire
Открыть в приложении