Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходец в мире бодибилдинга и обладатель статуса «Мистер Вселенная»: история Микки Харгитея Первопроходец в мире бодибилдинга и обладатель статуса «Мистер Вселенная»: история Микки Харгитея

Как венгр Микки Харгитей бросил вызов американскому доминированию в бодибилдинге

ТехИнсайдер
«Больше не значит лучше»: сколько общения нам нужно на самом деле «Больше не значит лучше»: сколько общения нам нужно на самом деле

Надо ли часто встречаться с друзьями и родственниками?

Psychologies
Домашняя работа: как привести IT в ЖКХ в порядок Домашняя работа: как привести IT в ЖКХ в порядок

О том, что можно сделать с хаосом в жилищно-коммунальном IT

Forbes
Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдер
Типы старения лица и кожи: какие бывают и как их определить Типы старения лица и кожи: какие бывают и как их определить

Какие типы старения лица и организма существуют?

РБК
Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта

Что значит — мнительный характер? Почему он вреден для вашей жизни?

Psychologies
Перепись птичьего населения Перепись птичьего населения

Ученые предложили новый способ оценки синантропизации птиц

Наука
Из мест лишения свободы Из мест лишения свободы

Николай Бердяев и его «Самопознание»: как остаться свободным от мира

Weekend
Джонсон и Джонсоны Джонсон и Джонсоны

Как семейный бизнес превратился в крупнейшую финансовую корпорацию

Деньги
Заряд бодрости. 7 фруктов, которые лучше всего есть на завтрак Заряд бодрости. 7 фруктов, которые лучше всего есть на завтрак

Какие фрукты не только придадут тебе энергию с самого утра, но и оставят сытой

Лиза
5 признаков того, что вы слишком увлечены заботой о партнере 5 признаков того, что вы слишком увлечены заботой о партнере

«Cиндром спасателя» — что это такое и чем выгодна эта модель поведения?

Psychologies
Точка баланса Точка баланса

Интерьер как фон для произведений искусства

RR Люкс.Личности.Бизнес.
Регина неугомонная Регина неугомонная

Что пишет в тетрадях желаний Регина Тодоренко? И зачем хочет получить MBA?

OK!
Кубрик после Кубрика Кубрик после Кубрика

10 наследников Стэнли Кубрика по кривой

Weekend
Как страшно жить Как страшно жить

Как изменились запросы клиентов психотерапевтов

Men Today
Самцы большинства видов млекопитающих оказались не крупнее самок Самцы большинства видов млекопитающих оказались не крупнее самок

Вопреки представлениям, самцы большинства млекопитающих не крупнее самок

N+1
Татьяна Тылевич Татьяна Тылевич

Почему ИФЗ — это живое производство и как сделать фарфор модным

Собака.ru
Не только уксус: чем можно заменить разные моющие средства Не только уксус: чем можно заменить разные моющие средства

Вот чем тебе стоит воспользоваться, если дома закончился пятновыводитель

VOICE
Кибератака Кибератака

Как устроен Tesla Cybertruck и зачем он нужен

Автопилот
Анна Ялова Анна Ялова

О новых подходах в режиссуре экспозиций и чего ждать от «Манежа» дальше

Собака.ru
Как поддержать себя во время стресса: 4 шага Как поддержать себя во время стресса: 4 шага

Мы можем развить устойчивость к негативным факторам окружающей среды

Psychologies
Человек на радиоуправлении Человек на радиоуправлении

Нейроинтерфейсами начали заниматься в российской «Моторике»

ТехИнсайдер
10 автомобилей, которые почти не изменились за десятки лет 10 автомобилей, которые почти не изменились за десятки лет

Некоторые модели становятся настоящими отступниками, которые не меняются годами

Maxim
Авторы фильма о Раисе Горбачевой: Мы сняли кино о любви, которую победила политика Авторы фильма о Раисе Горбачевой: Мы сняли кино о любви, которую победила политика

Раиса Горбачева: чему нас может научить ее образ сегодня?

СНОБ
11 вещей, которые никогда нельзя чистить содой: мнение профессиональных клинеров 11 вещей, которые никогда нельзя чистить содой: мнение профессиональных клинеров

Рассказываем, какие поверхности не стоит чистить содой!

VOICE
Отцы атомной бомбы: 5 ученых, стоящих за созданием самого разрушительного оружия Отцы атомной бомбы: 5 ученых, стоящих за созданием самого разрушительного оружия

Кто создавал ядерное оружие?

ТехИнсайдер
Продлить молодость Продлить молодость

Как нужно питаться, чтобы продлить молодость

Лиза
Ностальгический алкоголь: почему коктейли в банках снова стали популярны Ностальгический алкоголь: почему коктейли в банках снова стали популярны

Популярность сладкого алкоголя: шлейф барной культуры или борьба со стрессом?

Forbes
Темная сторона ИИ Темная сторона ИИ

Влияние нового вида интеллекта, которое трудно предсказать

Psychologies
Первые роли 10 знаменитых современных актеров Первые роли 10 знаменитых современных актеров

Педро Паскаль, Милош Бикович, Тимати Шаламе и другие в своих первых ролях

Maxim
Открыть в приложении