Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Древние люди жили в Индонезии 1,5 миллиона лет назад Древние люди жили в Индонезии 1,5 миллиона лет назад

Ученые обнаружили на острове Сулавеси древнейшие каменные инструменты региона

ТехИнсайдер
Искусство запрещать Искусство запрещать

Одна из самых громких сенсаций в новейшей истории арт-рынка

Правила жизни
3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее 3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее

Подборка историй людей, которые двигают прогресс

ТехИнсайдер
Фильм «Герой наших снов»: какие пороки высмеивает трагикомедия с Николасом Кейджем Фильм «Герой наших снов»: какие пороки высмеивает трагикомедия с Николасом Кейджем

«Герой наших снов»: какие насущные проблемы Америки поднимает этот фильм?

Forbes
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
Доктор, меня все игнорируют! Доктор, меня все игнорируют!

Как сделать так, чтобы вас слышали и слушали?

Men Today
Правда ли, что котам на флоте давали паспорта с отпечатком лапки Правда ли, что котам на флоте давали паспорта с отпечатком лапки

Были ли у котов на флоте настоящие документы, а не только "усы, лапы и хвост"?

ТехИнсайдер
Мешок со вшами Мешок со вшами

В октябре 1919 года войска Северо-Западной армии дошли до российской столицы...

Дилетант
Фонотека: как The Velvet Underground опередили время и записали пророческий альбом Фонотека: как The Velvet Underground опередили время и записали пророческий альбом

Как первому альбому The Velvet Underground удалось не попасть во время

Правила жизни
Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта

Что значит — мнительный характер? Почему он вреден для вашей жизни?

Psychologies
Букет возможностей: как устроен и как перестраивается цветочный бизнес Букет возможностей: как устроен и как перестраивается цветочный бизнес

Откуда привозят цветы, из чего складывается стоимость букета и другие вопросы

РБК
Чем занимались жители Наска в свободное от создания геоглифов время? Чем занимались жители Наска в свободное от создания геоглифов время?

Многогранная культура Наска: геоглифы, многофигурная вышивка и керамика

Наука и техника
Навстречу мечте. Новый фильм Маттео Гарроне «Я — капитан» Навстречу мечте. Новый фильм Маттео Гарроне «Я — капитан»

Можно ли фильм «Я — капитан» обвинить в эксплуатации историй мигрантов из Африки

СНОБ
Как провести дофаминовый детокс: 3 основных правила Как провести дофаминовый детокс: 3 основных правила

Как сделать дофаминовый детокс? Давайте разбираться с психологом

Psychologies
Свинья Пигкассо, одноухий питбуль Ван Гог и конь Чойя. Животные-художники, которые зарабатывали миллионы долларов Свинья Пигкассо, одноухий питбуль Ван Гог и конь Чойя. Животные-художники, которые зарабатывали миллионы долларов

Почему Пигкассо стала рисовать и какие еще животные заработали миллионы?

СНОБ
AR и VR в играх: почему самая ожидаемая революция в индустрии гейминга провалилась AR и VR в играх: почему самая ожидаемая революция в индустрии гейминга провалилась

Почему революция виртуальной и дополненной реальности не свершилась?

Forbes
«Обывательщину на прицел!», или Как в эпоху НЭПа в СССР боролись с мещанством, но не преуспели «Обывательщину на прицел!», или Как в эпоху НЭПа в СССР боролись с мещанством, но не преуспели

Прежде чем рассмотреть мещанина, стоит задаться вопросом: а что же он такое?

Наука
«Капитаны Апреля» «Капитаны Апреля»

9 сентября 1973 года группа офицеров тайно собралась в окрестностях города Эвора

Дилетант
Охота в гуще неволи Охота в гуще неволи

«Охота за убийцей»: конспирологический триллер об убийстве Авраама Линкольна

Weekend
Вот что нужно знать, если вы хотите начать медитировать! Простые советы экспертов Вот что нужно знать, если вы хотите начать медитировать! Простые советы экспертов

Самым большим препятствием на пути к практике медитации является начало

ТехИнсайдер
Настроения на подъеме Настроения на подъеме

Почему растет потребительская активность россиян

Деньги
«АПК Ресурс» зальет поля под рис «АПК Ресурс» зальет поля под рис

Как «АПК Ресурс» планирует засеять рисом 27 тыс. га в Астраханской области

Агроинвестор
Зачем кенгуру три влагалища и две матки? Такого вам не расскажут в школе Зачем кенгуру три влагалища и две матки? Такого вам не расскажут в школе

Говорят, что быть «немножко беременной» невозможно. Это вы скажите кенгуру

ТехИнсайдер
Детские травмы: почему все родители их наносят и что с этим делать — мнение психолога Детские травмы: почему все родители их наносят и что с этим делать — мнение психолога

Как можно научиться выстраивать экологичную коммуникацию с детьми

VOICE
Правила жизни Александра Ширвиндта Правила жизни Александра Ширвиндта

Правила жизни народного артиста России Александра Ширвиндта

Правила жизни
Делай раз. Что будет, если отжиматься каждый день: плюсы и минусы упражнения Делай раз. Что будет, если отжиматься каждый день: плюсы и минусы упражнения

Сколько отжиматься каждый день можно на самом деле?

Лиза
Робот в мобильных телефонах Робот в мобильных телефонах

Искусственный интеллект рвется в мобильную связь

Монокль
«Масло с водой не смешивается». Глава из романа «Заххок» Владимира Медведева «Масло с водой не смешивается». Глава из романа «Заххок» Владимира Медведева

Глава из романа, в котором пересекаются культуры прошлого и настоящего «Заххок»

СНОБ
Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдер
Премиальный поворот Премиальный поворот

В России меняются представления о дорогих автомобилях

Деньги
Открыть в приложении