Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Во френч-прессе, турке и гейзерной кофеварке: как сварить вкусный кофе дома Во френч-прессе, турке и гейзерной кофеварке: как сварить вкусный кофе дома

Как приготовить вкусный кофе дома — без кофемашины и профессионального опыта

Forbes
Как стать для него музой: 5 правил жизни с талантливым мужчиной Как стать для него музой: 5 правил жизни с талантливым мужчиной

Что делать, если ты влюбилась в талантливого мужчину и как стать для него музой

Cosmopolitan
Острый глаз: нужны ли очки для вождения ночью Острый глаз: нужны ли очки для вождения ночью

Какие очки выбрать для ночных поездок за рулём?

Популярная механика
Офис во время чумы: как организовать работу отдела на удаленке и не разорить компанию Офис во время чумы: как организовать работу отдела на удаленке и не разорить компанию

Какие подводные камни скрывает безобидный на первый взгляд режим работы из дома?

Forbes
Дисней, Миядзаки, Петров и еще 5 мультипликаторов-революционеров Дисней, Миядзаки, Петров и еще 5 мультипликаторов-революционеров

Художники-аниматоры — настоящие экспериментаторы и творцы

РБК
Пол Остер: Бруклинские глупости Пол Остер: Бруклинские глупости

«Сноб» публикует первую главу книги Пола Остера «Бруклинские глупости»

СНОБ
Почему не наступает беременность: стресс военного положения Почему не наступает беременность: стресс военного положения

Как изменить свое эмоциональное состояние, чтобы получилось забеременеть?

Psychologies
6 финансовых привычек, которыми стоит обзавестись до 30 лет 6 финансовых привычек, которыми стоит обзавестись до 30 лет

Пренебрежение финансовым здоровьем может привести нас в неприятные ситуации

Playboy
«Я продаю свой «Майбах»: как ресторатор Владимир Перельман спасает бизнес от полного краха «Я продаю свой «Майбах»: как ресторатор Владимир Перельман спасает бизнес от полного краха

Как сохранить костяк команды в кризис?

Forbes
Переходят все границы Переходят все границы

«Ограниченные возможности» – это точно не про них!

Cosmopolitan
Святая простота. Почему так привлекателен мир без правил Святая простота. Почему так привлекателен мир без правил

Теперь система вступает на путь прямых и примитивных ответов на любые вызовы

СНОБ
Что смотреть: 10 крутых фильмов и сериалов об апокалипсисе Что смотреть: 10 крутых фильмов и сериалов об апокалипсисе

Самые крутые, самые трогательные, страшные или смешные фильмы о конце света

Cosmopolitan
Второе тело президента: Кремль решает проблему смертности лидера, кодифицировав Путина в конституции Второе тело президента: Кремль решает проблему смертности лидера, кодифицировав Путина в конституции

Попытка создать неумирающее политическое тело, способное жить дольше обычного

Forbes
Это еще цветочки Это еще цветочки

Пять «Грэмми», выступление на «Оскаре» и саундтрек к новому Бонду

Vogue
Поведение слизевика оказалось неплохим методом выявления космической паутины Поведение слизевика оказалось неплохим методом выявления космической паутины

Астрономы представили новый алгоритм поиска нитей космической паутины

N+1
Привет из прошлого: с какими бывшими друзьями не стоит общаться Привет из прошлого: с какими бывшими друзьями не стоит общаться

Порой лучше отказаться от помощи, чем возобновить общение с людьми из прошлого

Cosmopolitan
Близнецам — «Пила»: самый страшный фильм ужасов для каждого знака зодиака Близнецам — «Пила»: самый страшный фильм ужасов для каждого знака зодиака

Как напугать себя до чертиков согласно твоему звездному знаку

Cosmopolitan
Королевская свадьба-2020: история отношений принцессы Беатрис и Эдоардо Моцци Королевская свадьба-2020: история отношений принцессы Беатрис и Эдоардо Моцци

Единственная королевская свадьба в 2020 году

Cosmopolitan
Осознанность в большом городе Осознанность в большом городе

Осознанность — затертое слово в среде людей, увлекающихся восточными практиками

Yoga Journal
«Страна 30» — новый рассказ автора романа «Петровы в гриппе и вокруг него» Алексея Сальникова «Страна 30» — новый рассказ автора романа «Петровы в гриппе и вокруг него» Алексея Сальникова

Новый рассказ писателя Алексея Сальникова — «Страна 30».

Esquire
Харрисон Форд Харрисон Форд

Правила жизни Харрисона Форда

Esquire
Кредитка доверия Кредитка доверия

Рассказываем, как ты можешь заработать на кредитной карте

Cosmopolitan
Турбофотошоп: наши звезды, «убравшие» себе на фото 20 лет Турбофотошоп: наши звезды, «убравшие» себе на фото 20 лет

К каждым годом фотошоп становится все более заметен и агрессивен

Cosmopolitan
Вау-эффект Вау-эффект

Респектабельный, эксцентричный и одновременно гармоничный интерьер

SALON-Interior
Сергей Светлаков: «Я слишком избалован» Сергей Светлаков: «Я слишком избалован»

Сергей Светлаков о цензуре, спросе на искренность и комедийных сюжетах

Cosmopolitan
Алина Фаркаш рассуждает о том, почему так здорово быть некрасивой Алина Фаркаш рассуждает о том, почему так здорово быть некрасивой

У каждого из нас свои представления об идеальном

Cosmopolitan
7 блюд из гречки: что делать со скупленной крупой 7 блюд из гречки: что делать со скупленной крупой

Семь разнообразных блюд, которые сделают из тебя гуру гречки

Cosmopolitan
Одна вокруг света: как путешествовать с собакой и не оплошать Одна вокруг света: как путешествовать с собакой и не оплошать

64-я серия о кругосветном путешествии москвички Ирины Сидоренко и собаки Греты

Forbes
Ревизия наследия Медведева: правительство пересмотрит план облагать пошлиной посылки дороже €20 Ревизия наследия Медведева: правительство пересмотрит план облагать пошлиной посылки дороже €20

Следует ли продолжать понижение беспошлинного порога на посылки из AliExpress

Forbes
Как подружиться со смертью и сильнее полюбить жизнь Как подружиться со смертью и сильнее полюбить жизнь

Научившись спокойно принимать смерть, можно иначе взглянуть на жизнь

Psychologies
Открыть в приложении