ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мяу по-русски Мяу по-русски

Налаживая связь с человеком, кошки изменили тональность мяуканья

Популярная механика
От «коробочек» — к нелинейной архитектуре От «коробочек» — к нелинейной архитектуре

Как может выглядеть архитектура XXI века?

Монокль
Время людей Время людей

Антропоцен – время, когда человек оказывает глобальное влияние на всю планету

Популярная механика
Цветовые ошибки: как один оттенок способен испортить весь интерьер Цветовые ошибки: как один оттенок способен испортить весь интерьер

Какие ошибки в выборе цвета стен способны испортить весь интерьер?

VOICE
Экология темного неба Экология темного неба

Мы рискуем вовсе забыть, как выглядит чистое ночное небо

Популярная механика
Как запустить посудомоечную машину первый раз — инструкция и советы Как запустить посудомоечную машину первый раз — инструкция и советы

Как правильно запускать посудомоечную машину первый раз?

CHIP
Грехи Грехи

Мужчины, которые обеспечили себе место в аду, зарабатывая состояние и признание

Esquire
Академик Петр Чумаков: вирусы позволяют увидеть раковые клетки и сформировать иммунный ответ Академик Петр Чумаков: вирусы позволяют увидеть раковые клетки и сформировать иммунный ответ

Вирусы дают надежду в лечении самых злокачественных видов рака

Наука
Нехимические зависимости: что это такое, как их распознать и победить Нехимические зависимости: что это такое, как их распознать и победить

Вы просыпаетесь и сразу тянетесь к телефону?

Maxim
Пушки или масло Пушки или масло

Как технологии двойного назначения помогли послевоенной конверсии

Эксперт
Вечная молодость: 7 легендарных внедорожников, которые выпускались более 20 лет Вечная молодость: 7 легендарных внедорожников, которые выпускались более 20 лет

Автотитаны, которые десятилетиями остаются на конвейере

4x4 Club
Чьим голосом вы говорите с собой? Чьим голосом вы говорите с собой?

Тест: как часто вы точно понимаете, чего на самом деле хотите

Psychologies
Жизнь без гаджетов Жизнь без гаджетов

Как прекратить сидеть в телефоне: 9 шагов к цифровой свободе

Лиза
Позитивные вибрации: плюсы и минусы дизельной модификации пикапа JAC T9 Позитивные вибрации: плюсы и минусы дизельной модификации пикапа JAC T9

JAC T9: настоящие внедорожники еще выпускают

ТехИнсайдер
Есть ли жизнь на Марсе? Есть ли жизнь на Марсе?

Пройдемся по имеющимся фактам в вопросе о жизни на Марсе

Наука и техника
Безопасно ли ходить, ездить и плавать под ЛЭП: спрашивают многие, знают единицы Безопасно ли ходить, ездить и плавать под ЛЭП: спрашивают многие, знают единицы

Есть ли риск поражения молнией и могут ли навредить электромагнитные поля от ЛЭП

ТехИнсайдер
Все не как у людей Все не как у людей

Бытовые привычки иностранцев, которые нас удивляют

Лиза
6 ошибок при глажке, которые портят ваши вещи — а вы и не догадываетесь 6 ошибок при глажке, которые портят ваши вещи — а вы и не догадываетесь

Чего не нужно делать при глажке, чтобы ваши вещи оставались целыми и невредимыми

ТехИнсайдер
Как запустить свое производство Как запустить свое производство

Как оформить и запустить свое производство с нуля и на что обратить внимание

Inc.
Человек слова Человек слова

Жизненная философия американского топ-теннисиста 1960–1970-х – Артура Эша

Ведомости
Тревожные звоночки Тревожные звоночки

Где заканчивается здоровое беспокойство за своих детей и начинается гиперопека?

Grazia
Артем Кошман: «В карты меня научил играть дедушка» Артем Кошман: «В карты меня научил играть дедушка»

Артем Кошман рассказал о любви к Петербургу и отношении к азартным играм

Grazia
Зонд NASA использовал Марс как тестовую площадку при полете к Европе Зонд NASA использовал Марс как тестовую площадку при полете к Европе

Ученые успешно протестировали радарную систему зонда Europa Clipper

ТехИнсайдер
Что наша жизнь — стрельба Что наша жизнь — стрельба

Случаи в истории кинематографа, когда пуля оказалась умной и настоящей

Weekend
Дмитрий Ливанов: Не всегда частный вуз плохой, а государственный – хороший Дмитрий Ливанов: Не всегда частный вуз плохой, а государственный – хороший

Ректор МФТИ – о новых запросах работодателей к инженерам и IT-специалистам

Ведомости
Вадим Балашов, «Твоя Полка»: «Стараемся не стать той самой советской комиссионкой» Вадим Балашов, «Твоя Полка»: «Стараемся не стать той самой советской комиссионкой»

Вадим Балашов рассказал, как зарабатывать на сдаче в аренду полок в магазине

Forbes
Унесенные облаком Унесенные облаком

Как информационные технологии сменяют друг друга в нашей жизни

Эксперт
Точное определение Точное определение

От идеи журналиста до легенды футбола: история Суперкубка УЕФА

Ведомости
Цвет и эмоции: как палитра интерьера может изменить твою жизнь Цвет и эмоции: как палитра интерьера может изменить твою жизнь

Как цвета воспринимаются нашей психикой и как они работают в интерьере

VOICE
Искусство детям Искусство детям

Как говорить с ребенком об искусстве, не усыпив его скучными терминами

Grazia
Открыть в приложении