Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Изюмительно» редкие: эти необычные сухофрукты вы еще не пробовали «Изюмительно» редкие: эти необычные сухофрукты вы еще не пробовали

Редкие виды сухофруктов для тех, кому хочется экзотики

ТехИнсайдер
Самцы большинства видов млекопитающих оказались не крупнее самок Самцы большинства видов млекопитающих оказались не крупнее самок

Вопреки представлениям, самцы большинства млекопитающих не крупнее самок

N+1
Кибербезопасность в бизнесе — игнорировать нельзя использовать Кибербезопасность в бизнесе — игнорировать нельзя использовать

Как кибербезопасность вписывается в общую систему информационной безопасности

Inc.
12 фраз, которые ни в коем случае нельзя говорить партнеру во время секса 12 фраз, которые ни в коем случае нельзя говорить партнеру во время секса

Список фраз, которые стоит избегать в постели

Psychologies
«Розовый. История цвета» «Розовый. История цвета»

Как розовый цвет получали в Средневековье

N+1
Расклад такой Расклад такой

Пора стереть с собственного лица следы усталости от зимы, морщины и купероз!

Собака.ru
Крутые повороты Крутые повороты

Переворот и революция, которые вывели Португалию на путь демократии

Дилетант
Демоны, ставшие ангелами. Как люди искусства боролись с депрессией Демоны, ставшие ангелами. Как люди искусства боролись с депрессией

О том, как творческие люди давали отпор депрессии благодаря своему творчеству

СНОБ
W — значит валлийский W — значит валлийский

«Путь»: нелепая антиутопия Майкла Шина и Адама Кёртиса

Weekend
Антидворянец: Бахрушин Антидворянец: Бахрушин

Ходят слухи, что Алексей Бахрушин внезапно сорвался в Петербург. Почему же?

Правила жизни
Заодно с природой Заодно с природой

Лаконичное пространство в фахверке Домогацкого, полное света, воздуха и природы

Идеи Вашего Дома
Теодор Курентзис, дирижер-харизматик Теодор Курентзис, дирижер-харизматик

Оркестр musicAeterna — редкий случай среди независимых симфонических оркестров

Монокль
13 вещей, которые нельзя делать во время уборки на кухне: мнение профессиональных клинеров 13 вещей, которые нельзя делать во время уборки на кухне: мнение профессиональных клинеров

Хочешь знать мнение профессиональных клинеров о правилах уборки на кухне?

VOICE
Как выбрать складной стол для пикников: 5 важных правил и еще 5 полезных нюансов Как выбрать складной стол для пикников: 5 важных правил и еще 5 полезных нюансов

Собрали все параметры складных столов для пикников, имеющие значение

ТехИнсайдер
Ни дна без строчки Ни дна без строчки

Как Юрий Олеша всю жизнь размышлял о своем поражении и искал для него слова

Weekend
Как поддержать себя во время стресса: 4 шага Как поддержать себя во время стресса: 4 шага

Мы можем развить устойчивость к негативным факторам окружающей среды

Psychologies
Как телефон убивает отношения Как телефон убивает отношения

Что-то пошло не так, и гаджеты всё чаще вызывают ссоры и ревность

Здоровье
Тесты на деменцию Тесты на деменцию

Как самостоятельно обнаружить деменцию на ранней стадии

Лиза
Красавица сойка Красавица сойка

У нее рыжеватое оперение, черные крылья и хвост, а перья на плечах ярко-голубые

Знание – сила
Тупики победоносной войны Тупики победоносной войны

Причин для участия в подпольных движениях у португальских колоний было немного

Дилетант
Очень старые деньги Очень старые деньги

Какими были доходы и расходы древних римлян?

Men Today
Перепись птичьего населения Перепись птичьего населения

Ученые предложили новый способ оценки синантропизации птиц

Наука
Пожалей меня: как отличить нужду в сострадании от манипуляции Пожалей меня: как отличить нужду в сострадании от манипуляции

Когда можно отказать партнеру в помощи и как это сделать, не обидев его?

Psychologies
Что это такое принцип Парето и как его применять Что это такое принцип Парето и как его применять

Оказывается, что 80% результата можно обеспечить 20% усилий

РБК
Дом Лансере Дом Лансере

Мы идем в гости к хранителю не только художественных образов

Seasons of life
Искусство запрещать Искусство запрещать

Одна из самых громких сенсаций в новейшей истории арт-рынка

Правила жизни
По следам Америго Веспуччи По следам Америго Веспуччи

Своим капризом судьба обессмертила путешественника Америго Веспуччи

Знание – сила
Financial Times рассказала о «современном рабстве» в «Опус Деи». Католическая организация принуждает девочек трудиться бесплатно Financial Times рассказала о «современном рабстве» в «Опус Деи». Католическая организация принуждает девочек трудиться бесплатно

Современная католическая организация «Опус Деи» буквально использует рабство

Правила жизни
От Lemonade до Renaissance: 5 лучших альбомов Бейонсе От Lemonade до Renaissance: 5 лучших альбомов Бейонсе

Альбомы, которые стоит послушать всем, кто хочет понять феномен «королевы Би»

Правила жизни
Патологическое накопительство животных: 4 симптома «зоологического плюшкинизма» Патологическое накопительство животных: 4 симптома «зоологического плюшкинизма»

Зачем люди заводят огромное количество кошек и собак?

Psychologies
Открыть в приложении