Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как наше имя влияет на нашу внешность: научные данные Как наше имя влияет на нашу внешность: научные данные

Могут ли наши имена влиять на наш внешний вид? Вероятно, да

ТехИнсайдер
5 признаков того, что вы слишком увлечены заботой о партнере 5 признаков того, что вы слишком увлечены заботой о партнере

«Cиндром спасателя» — что это такое и чем выгодна эта модель поведения?

Psychologies
Какими бывают виды отверток и бит для шуруповертов Какими бывают виды отверток и бит для шуруповертов

Какие бывают отвертки — виды и названия наконечников, а также их размеры

CHIP
Future Continuous: какие технологии меняют будущее рекламы Future Continuous: какие технологии меняют будущее рекламы

Как развитие технологий изменит сферу рекламы через 10-15 лет

Forbes
Возможно, вы взвешиваетесь неверно: несколько правил от ученых Возможно, вы взвешиваетесь неверно: несколько правил от ученых

Как понять свой истинный вес и взвеситься правильно?

ТехИнсайдер
Релокация в детство Релокация в детство

«Шепот сердца»: сказка из прошлой жизни

Weekend
11 вещей, которые никогда нельзя чистить содой: мнение профессиональных клинеров 11 вещей, которые никогда нельзя чистить содой: мнение профессиональных клинеров

Рассказываем, какие поверхности не стоит чистить содой!

VOICE
«Капитаны Апреля» «Капитаны Апреля»

9 сентября 1973 года группа офицеров тайно собралась в окрестностях города Эвора

Дилетант
Словарь электротехники Словарь электротехники

Гид по электрокарам

Men Today
Социальное выгорание: почему мы устаем от общения с людьми Социальное выгорание: почему мы устаем от общения с людьми

Устаете от постоянного общения с коллегами, друзьями или родственниками?

ТехИнсайдер
Как провести дофаминовый детокс: 3 основных правила Как провести дофаминовый детокс: 3 основных правила

Как сделать дофаминовый детокс? Давайте разбираться с психологом

Psychologies
Как правильно ездить на электросамокате в 2024 году: номера, карточки и новые штрафы Как правильно ездить на электросамокате в 2024 году: номера, карточки и новые штрафы

Электросамокаты, гироскутеры, моноколеса и иже с ними впервые добавили в ПДД

Maxim
Где живет (не)зависимость? Где живет (не)зависимость?

Откуда берутся навязчивые пристрастия, существует ли предрасположенность к ним?

Psychologies
Материальная культура Материальная культура

Этот лофт сочетает в себе исторические стены и современный крафтовый дизайн

SALON-Interior
Чарльз Саатчи Чарльз Саатчи

Правила жизни бизнесмена и галериста Чарльза Саатчи

Правила жизни
Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале

Работы женщин, которые заявили о себе на Берлинале

Forbes
Женские таблетки Женские таблетки

Противозачаточные средства: свойства, не связанные с контрацепцией

Лиза
Кибератака Кибератака

Как устроен Tesla Cybertruck и зачем он нужен

Автопилот
Березовый сок: как правильно добывать, чтобы не навредить дереву? И чем на самом деле поили нас в СССР? Березовый сок: как правильно добывать, чтобы не навредить дереву? И чем на самом деле поили нас в СССР?

Когда и как правильно собирать березовый сок, чтобы не навредить дереву

ТехИнсайдер
Сохрани в тайне свою женитьбу… Сохрани в тайне свою женитьбу…

Александра Иосифовна умоляла императора подождать с публичностью в новом браке

Дилетант
Что будет, если женщина выпьет «Виагру» Что будет, если женщина выпьет «Виагру»

Интересно, а что будет с женщиной, если она примет дозу «Виагры»?

ТехИнсайдер
Казнить нельзя помиловать Казнить нельзя помиловать

Стоит ли прощать измену и как вернуть утраченное доверие?

Лиза
Проект «Неделька» Проект «Неделька»

Постройнеть всего за семь дней, не отказываясь от пасты, бутербродов и десертов?

Лиза
Театр начинается с вешалки Театр начинается с вешалки

Макар Михалкин — о Большом театре и балете

Men Today
Глобальные показатели рождаемости снизились в два раза за 60 лет Глобальные показатели рождаемости снизились в два раза за 60 лет

В 110 странах не наблюдается воспроизводства населения

N+1
Человек на радиоуправлении Человек на радиоуправлении

Нейроинтерфейсами начали заниматься в российской «Моторике»

ТехИнсайдер
Самые лучшие и горячие кинофильмы про стриптиз Самые лучшие и горячие кинофильмы про стриптиз

Стриптиз в кино: драма, черная комедия, спорный фильм с ДжейЛо

Maxim
Какое место в автомобиле самое безопасное для ребенка? Ответ вас удивит Какое место в автомобиле самое безопасное для ребенка? Ответ вас удивит

Где расположить детское автокресло, чтобы обеспечить ребенку безопасность?

ТехИнсайдер
Любовь без памяти: что происходит с нами, когда мы по-настоящему влюбляемся, с точки зрения науки Любовь без памяти: что происходит с нами, когда мы по-настоящему влюбляемся, с точки зрения науки

Как влюбленность влияет на наш организм?

ТехИнсайдер
Ученые раскрыли секрет, почему нам даже во взрослом возрасте бывает трудно расстаться с детскими игрушками Ученые раскрыли секрет, почему нам даже во взрослом возрасте бывает трудно расстаться с детскими игрушками

Почему мы не можем отвязаться от старых игрушек?

ТехИнсайдер
Открыть в приложении