ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Голографическая реальность Голографическая реальность

Инновационный head-up-дисплей дополняет полезной информацией реальный мир

Популярная механика
«Двойка» за хорошее поведение «Двойка» за хорошее поведение

BMW M2 Gran Coupe: баварское купе, которое на самом деле седан

Автопилот
И снова на сверхзвуке И снова на сверхзвуке

Новое поколение пассажирских сверхзвуковых самолетов

Популярная механика
Очень странные дела Очень странные дела

Какие бьюти-тренды из соцсетей искренне настораживают косметологов

Лиза
Абонент недоступен Абонент недоступен

Очаровательная блондинка флиртовала со Стингом и Ричардом Гиром, не существуя

Esquire
В Португалии нашли выгравированные в эпоху верхнего палеолита фигуры животных В Португалии нашли выгравированные в эпоху верхнего палеолита фигуры животных

Археологи обнаружили в Португалии новые произведения палеолитического искусства

N+1
Кто горы наворотил? Кто горы наворотил?

Поколения губок, мириады бактерий и водорослей – создатели земной коры

Популярная механика
Мертвые дети, неравенство и травмы Мертвые дети, неравенство и травмы

Настоящий мир вымышленного Питера Пэна

Weekend
Мария Мацель: «Теперь наконец я могу делать и что-то свое» Мария Мацель: «Теперь наконец я могу делать и что-то свое»

Актриса Мария Мацель — о том, как снимаются фильмы-сны

Ведомости
Зарплатно-гендерный вопрос Зарплатно-гендерный вопрос

Удовлетворенность размером зарплаты среди мужчин и женщин практически сравнялась

Ведомости
Сверхурочная экономика Сверхурочная экономика

Власти и работодатели концептуально договорились об изменении Трудового кодекса

Ведомости
Видимо-невидимо Видимо-невидимо

Какие из «нельзя» о родинках правда, а какие — домыслы?

Новый очаг
Лариса Долина: «Я всегда верила в то, что моя звезда загорится» Лариса Долина: «Я всегда верила в то, что моя звезда загорится»

Лариса Долина не скрывает – в своей жизни она столкнулась со многими трудностями

Добрые советы
В старой коллекции находок из Костёнок нашли три кроманьонских зуба В старой коллекции находок из Костёнок нашли три кроманьонских зуба

Ученые обнаружили три кроманьонских человеческих зуба в Костёнки-1

N+1
Как коты меняют нашу жизнь Как коты меняют нашу жизнь

Подборка историй и фактов о вкладе мурчащих в развитие общества

Лиза
Странный, но очень важный аспект: почему спринтеры начинают свой забег с низкого старта Странный, но очень важный аспект: почему спринтеры начинают свой забег с низкого старта

Каково преимущество низкого старта и почему его не используют марафонцы

ТехИнсайдер
Лидерство в коллективе: как завоевать авторитет и доверие в группе? Лидерство в коллективе: как завоевать авторитет и доверие в группе?

Какие лидерские качества стоит развивать, чтобы завоевать доверие в группе

Psychologies
9 принципов первой психологической помощи 9 принципов первой психологической помощи

Каковы главные принципы оказания первой психологической помощи?

Psychologies
2 способа, чтобы побороть чувство беспомощности и безнадежности 2 способа, чтобы побороть чувство беспомощности и безнадежности

Как бороться с чувством беспомощности и безнадежности

Inc.
Город двух цивилизаций Город двух цивилизаций

Касимов — где храмы на виду, а минарет в овраге

Weekend
Я — это часть алфавита Я — это часть алфавита

Режиссер Дима Крестьянкин — о непохожести каждого из нас друг на друга

Seasons of life
Рынок захлебнулся маслом Рынок захлебнулся маслом

Кризис перепроизводства в масложировой отрасли говорит о системных просчетах

Монокль
Ученые переписали нейронауку: впервые обнаружены возможные основы человеческого интеллекта Ученые переписали нейронауку: впервые обнаружены возможные основы человеческого интеллекта

Ученые нашли, как нейроны в человеческом мозге хранят воспоминания

Inc.
Парижский чемодан полпреда Парижский чемодан полпреда

Невероятная находка в Париже: автограф Кузмина и тайны Серебряного века!

Дилетант
Едва знакомы Едва знакомы

«Едва знакомы» — проект, объединяющий людей за киноужинами

Seasons of life
Каждому, по факту, рядом нужен человек Каждому, по факту, рядом нужен человек

«Как пережить душевную боль, которую нам причиняют самые близкие люди?»

OK!
Александр Рамм: Надо быть глухим, чтобы не слышать в Metallica Баха Александр Рамм: Надо быть глухим, чтобы не слышать в Metallica Баха

Виолончелист Александр Рамм — об идеальном инструменте и музыкальной семье

СНОБ
«Хотели как лучше»: какие травмы наносят ребенку любящие родители «Хотели как лучше»: какие травмы наносят ребенку любящие родители

К чему может привести заботливая гиперопека над ребенком?

Psychologies
Замок Цецилиенхоф Замок Цецилиенхоф

Построенный в начале ХХ столетия Цецилиенхоф напоминает дворец Коттедж Петергофа

Дилетант
Россияне распробовали фитнес-нагрузку Россияне распробовали фитнес-нагрузку

Как трансформировалась фитнес-индустрия в России?

Монокль
Открыть в приложении