ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Умная материя Умная материя

Армия нанороботов сделает нашу жизнь окончательной фантастикой

Популярная механика
Исследование показало, сколько раз нужно заниматься сексом, чтобы снизить риск депрессии Исследование показало, сколько раз нужно заниматься сексом, чтобы снизить риск депрессии

Секс один-два раза в неделю может принести наибольшую психологическую пользу

Inc.
Мяу по-русски Мяу по-русски

Налаживая связь с человеком, кошки изменили тональность мяуканья

Популярная механика
Куда приводят мечты инженеров Куда приводят мечты инженеров

Маршрут выходного дня по Калужской области

Weekend
Электрическая ракета, которая изменит войну Электрическая ракета, которая изменит войну

Барражирующие боеприпасы «Ланцет», которые могут в корне изменить войны будущего

Популярная механика
«Я, наверное, вас удивлю…» «Я, наверное, вас удивлю…»

Ирина Безрукова — о возрасте, красоте и женской силе

OK!
Цифровое творчество Цифровое творчество

Как привить детям любовь к созиданию, а не потреблению

Популярная механика
Дорожная карта Дорожная карта

Фильмы, которые помогут увидеть мир

Лиза
Новые методы помогут искать воду в лунных кратерах и глубоко под поверхностью Новые методы помогут искать воду в лунных кратерах и глубоко под поверхностью

Ученые пытаются определить, где и сколько льда находится на Луне

ТехИнсайдер
Мария Порошина Мария Порошина

«Людмила Ставская взяла меня за руку, а я чувствовала себя как слепой котенок»

Караван историй
Почему женщины выбирают мужчин с криминальным прошлым: объясняет психолог Почему женщины выбирают мужчин с криминальным прошлым: объясняет психолог

По каким причинам девушки выбирают парней с криминальным прошлым?

VOICE
5 полезных устройств для тех, кто затеял ремонт 5 полезных устройств для тех, кто затеял ремонт

Подборка полезной и надежной техники для ремонта

CHIP
Эффект рататуя Эффект рататуя

Как вкусы из детства могут формировать наш характер и модель поведения

Grazia
День Д: как города США зарабатывают сотни миллионов на церемониях драфта НФЛ День Д: как города США зарабатывают сотни миллионов на церемониях драфта НФЛ

Что такое драфты и почему они вообще существуют?

Forbes
Новое исследование: мат улучшает спортивные результаты Новое исследование: мат улучшает спортивные результаты

Как «матюки» во время физических нагрузок помогают превзойти свои возможности

Maxim
Культурный виноград появился на Сардинии больше трех тысяч лет назад Культурный виноград появился на Сардинии больше трех тысяч лет назад

Самый ранний культурный виноград выращивали на Сардинии

N+1
Десять цветов Десять цветов

Самые древние и почитаемые традиционные ремесла – часть культурного кода Мьянмы

Вокруг света
Еда с повышенным содержанием расходов Еда с повышенным содержанием расходов

Что толкает цены на продовольствие вверх

Эксперт
Формула любви Александра Абдулова Формула любви Александра Абдулова

«Герой должен умереть молодым» — старая японская пословица. Он жил всего 54 года

Коллекция. Караван историй
Ценный попутчик Ценный попутчик

Как путешествовать с собакой без стресса

Лиза
И хочется, и колется И хочется, и колется

Совпадает ли наше мнение о косметологии с реальностью? Развеиваем мифы

Grazia
Как научиться принимать комплименты Как научиться принимать комплименты

Почему бывает трудно принимать комплименты и как с этим справиться

Inc.
C понедельника начну C понедельника начну

Новая работа – это здорово, но и немного страшно. Как сделать все хорошо?

VOICE
Верни мой каменный топор Верни мой каменный топор

Вновь изобрести технологии каменного века занимательно, но зачем это нужно?

Вокруг света
Заводской брак или нет: юрист рассказал, как переспорить автосалон Заводской брак или нет: юрист рассказал, как переспорить автосалон

Как определить, считается поломка производственным дефектом или нет?

ТехИнсайдер
Квазивалютный бизнес Квазивалютный бизнес

Что такое квазивалютные кредиты в китайских юанях и как они работают

Ведомости
Дачники идут! Дачники идут!

Составили психологических портрет тех, кто предпочитает курортам свои фазенды

Лиза
Если все тряпки закончились: 5 предметов домашнего обихода, которыми можно вытирать пыль Если все тряпки закончились: 5 предметов домашнего обихода, которыми можно вытирать пыль

Чем, кроме тряпки, можно эффективно удалить пыль с любой поверхности

ТехИнсайдер
Добавь изюминку Добавь изюминку

Как быстро и бюджетно преобразить дачный интерьер

Лиза
Узкий таз защитил от артрита колена и опущения органов Узкий таз защитил от артрита колена и опущения органов

Широкий таз облегчает деторождение, но добавляет других проблем со здоровьем

N+1
Открыть в приложении