ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Время людей Время людей

Антропоцен – время, когда человек оказывает глобальное влияние на всю планету

Популярная механика
Звезды манящие Звезды манящие

Ослепительная вспышка, которой уже некого слепить, миг неуловимый

Знание – сила
Что естественно, то прекрасно Что естественно, то прекрасно

Нас будут окружать вещи, соавторами которых наравне с людьми выступят компьютеры

Популярная механика
Еда с повышенным содержанием расходов Еда с повышенным содержанием расходов

Что толкает цены на продовольствие вверх

Эксперт
Из помазанников Божьих в святые мученики Из помазанников Божьих в святые мученики

Расстрел царской семьи — едва ли не самый хорошо исследованный сюжет

Дилетант
Русско-американские отношения в XIX веке. Часть 2 Русско-американские отношения в XIX веке. Часть 2

Какими были отношения США и России накануне войны между Севером и Югом

Наука и техника
«Физик»: скрытный и смертоносный «Физик»: скрытный и смертоносный

Торпеды нового поколения приходят на российский флот

Популярная механика
Прививка от аллергии АСИТ — как она работает? Прививка от аллергии АСИТ — как она работает?

Вместо того чтобы смягчать симптомы аллергии, можно устранить причину

СНОБ
«Двойка» за хорошее поведение «Двойка» за хорошее поведение

BMW M2 Gran Coupe: баварское купе, которое на самом деле седан

Автопилот
Ученые говорят, что наши мышцы стареют не так быстро, как нам кажется Ученые говорят, что наши мышцы стареют не так быстро, как нам кажется

У пожилых людей мышечные повреждения после спортивных нагрузок не так серьезны

ТехИнсайдер
Как утолить эмоциональный голод, если у вас нет партнера: 5 сфер, на которые стоит обратить внимание женщине Как утолить эмоциональный голод, если у вас нет партнера: 5 сфер, на которые стоит обратить внимание женщине

Одиночество — это не пустота, а пространство для наполнения своей жизни смыслами

Psychologies
Блеск и несчастья «Великого Гэтсби» Блеск и несчастья «Великого Гэтсби»

Краткая история главного американского произведения 1920‑х

Weekend
Как научиться принимать комплименты Как научиться принимать комплименты

Почему бывает трудно принимать комплименты и как с этим справиться

Inc.
Арена на двоих Арена на двоих

Как исторически складывались отношения России и США

Эксперт
Сверхурочная экономика Сверхурочная экономика

Власти и работодатели концептуально договорились об изменении Трудового кодекса

Ведомости
Развитие вместо красивых отчетов Развитие вместо красивых отчетов

Как Intelligence Top 100: Global NOC & IOC отражает работу нефтегазовых компаний

Эксперт
«У художника нет цели — только путь» «У художника нет цели — только путь»

Зорикто Доржиев о том, как искать себя в легендах и находить на Christie’s

Weekend
Культура сбережений: зачем откладывать на завтра то, что можно потратить сегодня? Культура сбережений: зачем откладывать на завтра то, что можно потратить сегодня?

Зачем каждому гражданину нужно выработать у себя привычку делать сбережения?

Наука и техника
Кто же все-таки виноват Кто же все-таки виноват

«Переходный возраст» — сериал, который только вышел и уже самый обсуждаемый

Weekend
Керосиновая история Керосиновая история

Жизнь в послевоенном социализме делится на «время керосина» и «время газа»

Знание – сила
Простой способ повысить психологическую устойчивость и настроиться на позитив Простой способ повысить психологическую устойчивость и настроиться на позитив

Одно упражнение для поддержания психологической устойчивости

Inc.
Революция со счастливым концом Революция со счастливым концом

Рубеж XIX и XX веков отмечен бурными событиями в целом ряде наук

Знание – сила
В тени новой биологии, или Вверх по лестнице, ведущей вниз В тени новой биологии, или Вверх по лестнице, ведущей вниз

Сравнительная анатомия – старая наука, интеллектуальный опыт которой очень богат

Знание – сила
Соль земли Соль земли

Зимнее путешествие по Пермскому краю: ледяная пещера, Чердынь и виды Колвы

Отдых в России
Земля ратного подвига Земля ратного подвига

Щит России: чем живёт и развивается Белгородская область сегодня

Отдых в России
Интернет высокого полета Интернет высокого полета

Когда в России заработает сеть низкоорбитальных спутников связи

Эксперт
Новый поход ветеранов Троянской войны Новый поход ветеранов Троянской войны

Филистимляне и троянцы против египетских фараонов

Знание – сила
Город нереализованных генпланов Город нереализованных генпланов

Нижний Новгород — лоскутное одеяло из обрывков больших проектов

Weekend
Беззубый театр. Беседа на спорные темы Беззубый театр. Беседа на спорные темы

Продолжение статьи худрука Марка Розовского о современном театре

Знание – сила
3 сильные стороны интровертов, которые помогут им стать успешными 3 сильные стороны интровертов, которые помогут им стать успешными

Интроверты наделены множеством суперспособностей — нужно просто знать их

Inc.
Открыть в приложении