Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

То, что надо! То, что надо!

Opel Grandland X – новая достойная страница в истории старого доброго бренда

Playboy
Большая перемена Большая перемена

Яркий неординарный интерьер квартиры на Патриарших прудах

SALON-Interior
Интереснейший из возможных миров. Памяти Фримена Дайсона Интереснейший из возможных миров. Памяти Фримена Дайсона

Фримен Дайсон, крупнейший физик, мыслитель покинул этот мир 28 февраля 2020 года

СНОБ
Владимир Гусев Владимир Гусев

Интервью с директором Русского музея

Собака.ru
От печали до радости От печали до радости

Материнство считается то радостным делом, то почти трагедией

Добрые советы
Алкогений: Майкл Дуглас Алкогений: Майкл Дуглас

Напиваясь, Дуглас постепенно превращался в несмешную пародию на своих персонажей

Maxim
Названа настоящая форма гелиосферы: забудьте, чему вас учили в школе Названа настоящая форма гелиосферы: забудьте, чему вас учили в школе

Солнечный "барьер" нашей звездной системы выглядит не так, как мы представляли

Популярная механика
15 нелепых смертей (и шансы умереть так же) 15 нелепых смертей (и шансы умереть так же)

Что может быть хуже мучительной смерти?

Maxim
Почти кроссовер? 5 вопросов к Lada повышенной проходимости Почти кроссовер? 5 вопросов к Lada повышенной проходимости

Действительно ли машины Lada с приставкой Cross лучше подготовлены к бездорожью

РБК
«Дети знают, что мама работает блогером» «Дети знают, что мама работает блогером»

Интервью с Валерией Чекалиной, одним из самых успешных блогеров страны

OK!
Камера в пуговице: как водители обманывают на экзаменах ГИБДД Камера в пуговице: как водители обманывают на экзаменах ГИБДД

Лишенный прав водитель пришел на пересдачу теории в ГИБДД с камерами слежения

РБК
Александровский. Театр Александровский. Театр

Интервью с режиссером Семеном Александровским

Собака.ru
Пельш, Зеленский и другие: кто из звезд начинал с КВН, а ты и не знала Пельш, Зеленский и другие: кто из звезд начинал с КВН, а ты и не знала

Через школу КВН прошло очень много российских комиков и шоуменов

Cosmopolitan
Ошибка оптимиста: почему цены на нефть продолжат свое падение Ошибка оптимиста: почему цены на нефть продолжат свое падение

Нет предпосылок к тому, чтобы цены на нефть вернулись в приемлемый коридор

Forbes
Разыгрались ни на шутку: как женщины изменили театр Разыгрались ни на шутку: как женщины изменили театр

Как изменилась судьба женщины в мировом и российском театре

Forbes
Найти свое место под солнцем Найти свое место под солнцем

Солнце – архетип, знакомый всем культурам

Psychologies
Стая товарищей Стая товарищей

Рассказ Елены Первушиной

Наука и жизнь
Больше вреда, чем пользы: 5 привычек ЗОЖа, которые приведут в кабинет врача Больше вреда, чем пользы: 5 привычек ЗОЖа, которые приведут в кабинет врача

Ученые предупреждают: далеко не весь ЗОЖ действительно полезен для здоровья

Cosmopolitan
Лориська Лориська

Мы говорили с Лорой Гуэрра, когда в России еще лежал снег

Seasons of life
10 отличных фильмов об эпидемиях: от Швеции до Японии, от 1950-х до наших дней 10 отличных фильмов об эпидемиях: от Швеции до Японии, от 1950-х до наших дней

Какое кино об эпидемиях снимали в разных странах в разные эпохи

Esquire
Нейтронные звезды могут иметь странные «сердца» Нейтронные звезды могут иметь странные «сердца»

Результат эксперимента может объяснить, что происходит внутри нейтронных звезд

Популярная механика
«Реализовался самый негативный сценарий»: что ждать России после обвала цен на нефть «Реализовался самый негативный сценарий»: что ждать России после обвала цен на нефть

Аналитики ожидают падения «широким фронтом» и укрепления доллара до 80 рублей

Forbes
Истина в жене Истина в жене

Зачем прятать от мужа свои деньги и почему карьеру надо делать днем?

Cosmopolitan
Как виноматериалы спрячут в российском вине Как виноматериалы спрячут в российском вине

Называть вином напитки, сделанные с использованием виноматериалов, запретили

Forbes
Зов дорог Зов дорог

Почему нам не сидится на месте?

Psychologies
Марсианский зонд придавил “крота” лопатой Марсианский зонд придавил “крота” лопатой

Даже на другой планете всегда есть место старым добрым дедовским методам

Популярная механика
Степан Гаврилов: Опыты бесприютного неба Степан Гаврилов: Опыты бесприютного неба

Сноб» публикует первую главу книги Степана Гаврилова «Опыты бесприютного неба»

СНОБ
7 вопросов Александру Сосланду, психотерапевту. О панике и карантине 7 вопросов Александру Сосланду, психотерапевту. О панике и карантине

О том, насколько опасны панические явления

Русский репортер
9 книг для тех, кому понравился «Ведьмак» 9 книг для тех, кому понравился «Ведьмак»

10 книг, которые не разочаруют поклонников жанра фэнтези

Maxim
Уроки труда: как забота о доме и близких помогает нашей душе Уроки труда: как забота о доме и близких помогает нашей душе

Домашние дела могут дарить радость и вдохновение

Psychologies
Открыть в приложении