Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как эффект плацебо обманывает мозг, чтобы облегчить боль Как эффект плацебо обманывает мозг, чтобы облегчить боль

Как эффект плацебо снижает восприятие боли?

ТехИнсайдер
6 стратегий, которые помогут влюбленным выразить свои чувства 6 стратегий, которые помогут влюбленным выразить свои чувства

Как поделиться чувствами с «тем самым» человеком?

Psychologies
Стремительный разгон и быстрый взлет: самые короткие взлетно-посадочные полосы в мире Стремительный разгон и быстрый взлет: самые короткие взлетно-посадочные полосы в мире

Аэропорты, взлетно-посадочные полосы которых проверяют пилотов на прочность

ТехИнсайдер
Социальное выгорание: почему мы устаем от общения с людьми Социальное выгорание: почему мы устаем от общения с людьми

Устаете от постоянного общения с коллегами, друзьями или родственниками?

ТехИнсайдер
Накопленная усталость: почему молодые шведки чаще выбирают жизнь за счет партнера Накопленная усталость: почему молодые шведки чаще выбирают жизнь за счет партнера

Почему некоторые шведки выбирают отказ от карьеры и жизнь за счет партнера

Forbes
Сколько посадок самолета выдерживают шины и почему авиакомпании никогда их не покупают Сколько посадок самолета выдерживают шины и почему авиакомпании никогда их не покупают

Как устроены шины для самолетов и почему они так быстро изнашиваются

Maxim
Приматологи описали жесты коат Жоффруа Приматологи описали жесты коат Жоффруа

Ученые выделили 43 типа обезьяньих жестов коат Жоффруа

N+1
Палеогенетики выявили средневековых представителей клана Аба Палеогенетики выявили средневековых представителей клана Аба

Ученые прочитали ядерную ДНК 19 средневековых людей из некрополя в Абашаре

N+1
По следам первопроходцев По следам первопроходцев

Следы эпохи Великих географических открытий – во всей нашей жизни

Вокруг света
Как найти идеального партнера для секса? Как найти идеального партнера для секса?

Идеальный секс начинается с вашего мозга, а не с физиологических потребностей

Psychologies
Детские травмы: почему все родители их наносят и что с этим делать — мнение психолога Детские травмы: почему все родители их наносят и что с этим делать — мнение психолога

Как можно научиться выстраивать экологичную коммуникацию с детьми

VOICE
101-летний долгожитель рассказал, как он добился своих целей в карьере, и поделился своим секретом долголетия 101-летний долгожитель рассказал, как он добился своих целей в карьере, и поделился своим секретом долголетия

101-летний Коэн рассказал, что за десятилетия усвоил ряд уроков долголетия

Inc.
Березовый сок: как правильно добывать, чтобы не навредить дереву? И чем на самом деле поили нас в СССР? Березовый сок: как правильно добывать, чтобы не навредить дереву? И чем на самом деле поили нас в СССР?

Когда и как правильно собирать березовый сок, чтобы не навредить дереву

ТехИнсайдер
Мне нужны твои камбэки: чем хороша французская драма «(Не)бывшие» с Гийомом Кане? Мне нужны твои камбэки: чем хороша французская драма «(Не)бывшие» с Гийомом Кане?

почему стоит смотреть новую драму Стефана Бризе «(Не)бывшие»?

Правила жизни
9 проверенных шагов к совместному оргазму 9 проверенных шагов к совместному оргазму

Какие приемы помогут вам и вашему партнеру достичь совместного оргазма?

Psychologies
«Величайший португалец» «Величайший португалец»

Хозяином Португалии был Антониу Салазар, а его богом была Стабильность

Дилетант
Лайфхаки весны Лайфхаки весны

Однообразие жизни кого угодно доведёт до ручки. С рутиной можно и нужно бороться

Здоровье
Правила жизни Александра Ширвиндта Правила жизни Александра Ширвиндта

Правила жизни народного артиста России Александра Ширвиндта

Правила жизни
Лещина и фундук Лещина и фундук

Лещина, или орешник — род кустарников, подаривший нам фундук

Наука и жизнь
Мифы о кесарятах Мифы о кесарятах

Кесарево сечение: чего стоит опасаться, а что – не более чем выдумки?

Лиза
Выносливый и политически благонадежный: как Гагарина выбрали для полета в космос Выносливый и политически благонадежный: как Гагарина выбрали для полета в космос

О том, как шла подготовка к отправке человека в космос

Forbes
Искра моря Искра моря

Траулеру Scintilla Maris посчастливилось стать настоящей экспедиционной яхтой

Y Magazine
«Такое может случиться с каждым»: 4 серьезных удара по нашей психике «Такое может случиться с каждым»: 4 серьезных удара по нашей психике

Почему стоит обращаться к психотерапевтам после травматичных событий в жизни?

Psychologies
«Человедица и медведица»: рассказ Евгении Некрасовой о медведице, которая коллекционирует фигурки людей и мечтает встретить человека «Человедица и медведица»: рассказ Евгении Некрасовой о медведице, которая коллекционирует фигурки людей и мечтает встретить человека

В рассказе «Человедица и медведица» можно увидеть знакомые художественные приемы

Правила жизни
Что сажать на рассаду Что сажать на рассаду

Самые популярные и простые в уходе растения на рассаду

Лиза
В свободном полете В свободном полете

Самые внеземные коллекции одежды в истории моды

Men Today
Как понять, что доставляет вам удовольствие: 4 простых шага Как понять, что доставляет вам удовольствие: 4 простых шага

Как разобраться что именно приносит нам удовольствие?

Psychologies
Кто еще в квартире живёт? Кто еще в квартире живёт?

Насекомые и пауки, которые живут в наших квартирах

Наука и жизнь
Эль-Ниньо – капризный «ребенок» климатической системы Эль-Ниньо – капризный «ребенок» климатической системы

Что за природный феномен вызывает экстремальные погодные явления во всем мире?

Наука и техника
Философия университета: мышление, знания, навыки Философия университета: мышление, знания, навыки

Уже более ста лет пишется и говорится об экономике знания

Наука
Открыть в приложении