Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Зачем каждому садоводу нужно иметь при себе перекись водорода: 6 полезных применений аптечного средства Зачем каждому садоводу нужно иметь при себе перекись водорода: 6 полезных применений аптечного средства

В саду и огороде перекись водорода может творить чудеса!

ТехИнсайдер
Эта Барби — продюсер: как Марго Робби создает и поддерживает женское кино Эта Барби — продюсер: как Марго Робби создает и поддерживает женское кино

Как LuckyChap Entertainment спродюсировала «Барби»

Forbes
Как на телефоне отсканировать QR-код: пошаговая инструкция для Android и iPhone Как на телефоне отсканировать QR-код: пошаговая инструкция для Android и iPhone

Инструкция, как отсканировать QR-код на экране телефона на Android и iPhone

CHIP
Способность птиц решать головоломки с едой связали с размером мозга и инновационным поведением Способность птиц решать головоломки с едой связали с размером мозга и инновационным поведением

Птицы, лучше решающие головоломки с едой, имеют более крупный мозг

N+1
Не только японская манга: какие комиксы выпускаются в разных странах и чем они интересны Не только японская манга: какие комиксы выпускаются в разных странах и чем они интересны

Почему истории в картинках стали такими популярными по всему миру?

ТехИнсайдер
Энергия воды: набирают силу малые станции Энергия воды: набирают силу малые станции

Как в действительности развивалась гидроэнергетика последние десять лет?

Наука и жизнь
Защита от негатива Защита от негатива

Как работает сублимация и почему этот защитный механизм для нас так важен

Лиза
Проверяем щитовидку. Неочевидные симптомы, которые указывает на ее проблемы Проверяем щитовидку. Неочевидные симптомы, которые указывает на ее проблемы

Щитовидка контролирует работу сердца и влияет на наше самочувствие

Лиза
Если ребёнок простудился Если ребёнок простудился

Почему дети болеют, и как им помочь быстрее поправиться?

Здоровье
Почему мы верим в паранормальные явления Почему мы верим в паранормальные явления

Почему люди верят в паранормальное

ТехИнсайдер
За что держаться, когда думаешь, что мир рушится: концепция антихрупкости За что держаться, когда думаешь, что мир рушится: концепция антихрупкости

Что такое концепция антихрупкости, которая помогает выстоять?

VOICE
Великий «щупальщик»: как художник Илья Репин работал со своими учениками и ученицами Великий «щупальщик»: как художник Илья Репин работал со своими учениками и ученицами

В чем заключался преподавательский метод Репина?

Forbes
Что делать перед стиркой, чтобы одежда благоухала свежестью: 9 простых трюков Что делать перед стиркой, чтобы одежда благоухала свежестью: 9 простых трюков

Есть способы сделать одежду благоухающей без специальных средств!

VOICE
Искусство запрещать Искусство запрещать

Одна из самых громких сенсаций в новейшей истории арт-рынка

Правила жизни
«Нет, ваше величество…» «Нет, ваше величество…»

Как любой большой человек, Канкрин оценивался крайне противоречиво

Дилетант
Чистая работа Чистая работа

Как отстирать кухонные полотенца и устранить любые пятна

Лиза
Как почистить ванну, не напрягая спину: 2 отличных способа, экономящих твои силы Как почистить ванну, не напрягая спину: 2 отличных способа, экономящих твои силы

Удобные методы очистки ванны, после которых не устает спина

VOICE
Словарь электротехники Словарь электротехники

Гид по электрокарам

Men Today
Бизнес на скорость и выносливость Бизнес на скорость и выносливость

Как изменились тренды мировой фитнес-индустрии

РБК
Точка баланса Точка баланса

Интерьер как фон для произведений искусства

RR Люкс.Личности.Бизнес.
Иван Кашпуров Иван Кашпуров

Кто, кроме земляков, сейчас помнит этого писателя?

Дилетант
Худеем вместе Худеем вместе

Сидеть на диете в одиночестве мужчинам скучно. Другое дело — худеть с женой

Лиза
Психоистория коллекционирования Психоистория коллекционирования

Почему людям разных эпох неизменно нравилось собирать редкие вещи?

Правила жизни
Выброшенные деньги: выпускники вузов все чаще не могут найти работу по профилю Выброшенные деньги: выпускники вузов все чаще не могут найти работу по профилю

Насколько важно для недавних студентов найти «правильную» работу

Forbes
Юрий Стоянов: «Я непростой человек, но, мне кажется, не мерзавец» Юрий Стоянов: «Я непростой человек, но, мне кажется, не мерзавец»

Я стал знаменитым ради женщин. В профессию пошел, чтобы нравиться им

Коллекция. Караван историй
Future Continuous: какие технологии меняют будущее рекламы Future Continuous: какие технологии меняют будущее рекламы

Как развитие технологий изменит сферу рекламы через 10-15 лет

Forbes
10 автомобилей, которые почти не изменились за десятки лет 10 автомобилей, которые почти не изменились за десятки лет

Некоторые модели становятся настоящими отступниками, которые не меняются годами

Maxim
Изотопы из шерсти волка-людоеда из Турку рассказали о его питании Изотопы из шерсти волка-людоеда из Турку рассказали о его питании

Биоархеологи проанализировали изотопный состав шерсти волка-людоеда

N+1
Павианы анубисы переночевали на опорах ЛЭП Павианы анубисы переночевали на опорах ЛЭП

Ученые заметили несколько групп павианов анубисов, ночующих на опорах ЛЭП

N+1
Почему не дышит нос? Почему не дышит нос?

Наш нос – сложная система, если в ней произошёл сбой, страдает весь организм

Здоровье
Открыть в приложении