Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты! Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты!

Как ИИ выражает свои «принципы» в диалогах с людьми

ТехИнсайдер
Выйти из тени Выйти из тени

Яхтенный мир знает немного историй об успешном партнерстве верфей с автопромом

Y Magazine
Как можно использовать искусственный интеллект для создания видео? Интересные факты Как можно использовать искусственный интеллект для создания видео? Интересные факты

Как работают ИИ-видеогенераторы, где их применяют и что ждет нас в будущем

ТехИнсайдер
Заболевания вен Заболевания вен

Про варикоз знают все, но про хроническую венозную недостаточность – немногие

Здоровье
5 психологических терминов, которые пока не перевели на русский язык 5 психологических терминов, которые пока не перевели на русский язык

Пять психологических терминов из англоязычного интернета

РБК
Выброшенные деньги: выпускники вузов все чаще не могут найти работу по профилю Выброшенные деньги: выпускники вузов все чаще не могут найти работу по профилю

Насколько важно для недавних студентов найти «правильную» работу

Forbes
Кокни пацана Кокни пацана

«Джентльмены»: образцовый Гай Ричи в восьми сериях

Weekend
Какой же вы интеллектуал с чувством юмора, если не знаете эти 14 цитат советского гения смешного Аркадия Аверченко! Какой же вы интеллектуал с чувством юмора, если не знаете эти 14 цитат советского гения смешного Аркадия Аверченко!

Каждый интеллектуал с чувством юмора обязан знать эти цитаты Аркадия Аверченко

Maxim
На Петровке по-французски На Петровке по-французски

Изысканный «кружевной» интерьер в самом сердце Москвы

SALON-Interior
От ландшафта к дому От ландшафта к дому

Сочетание атмосферы загородного уюта с ощущением свободы

Идеи Вашего Дома
Гонки биовооружений, гибрид человека с обезьяной и другие риски генных технологий Гонки биовооружений, гибрид человека с обезьяной и другие риски генных технологий

Возможности, которые в ближайшее время может открыть синтетическая биология

Forbes
Высокодоходный максимум Высокодоходный максимум

Небольшие компании воспользовались шансом занять у частников

Деньги
Нейробика: сделать шаг в будущее Нейробика: сделать шаг в будущее

Как развить навыки, необходимые в высокотехнологичном мире?

Psychologies
Поработить любовью Поработить любовью

У Анны Слю есть такое правило: везде должна быть создана френдлизона

OK!
4 типа начальников и как ими управлять 4 типа начальников и как ими управлять

Какие существуют психотипы руководителей и как с ними взаимодействовать?

Maxim
Назад в коммуналки Назад в коммуналки

В условиях дорогой ипотеки москвичи покупают квартиры в складчину

Деньги
Энергия воды: набирают силу малые станции Энергия воды: набирают силу малые станции

Как в действительности развивалась гидроэнергетика последние десять лет?

Наука и жизнь
Главное качество идеального партнера: 7 признаков, указывающих на его наличие Главное качество идеального партнера: 7 признаков, указывающих на его наличие

Без чего счастливый союз невозможен?

Psychologies
Публичный труп для вечной жизни Публичный труп для вечной жизни

Как человек стал делать себя произведением искусства

Weekend
«Материнский инстинкт»: как драма с Энн Хэтэуэй и Джессикой Честейн исследует горе «Материнский инстинкт»: как драма с Энн Хэтэуэй и Джессикой Честейн исследует горе

«Материнский инстинкт»: драма о том, как общество демонизирует горюющих женщин

Forbes
Автоматические ремни безопасности: гениальное изобретение или бестолковая ерунда? Автоматические ремни безопасности: гениальное изобретение или бестолковая ерунда?

Автопроизводители порой устраивали с ремнями безумные эксперименты...

Maxim
История графа Дракулы — от лютого воеводы до героя-любовника История графа Дракулы — от лютого воеводы до героя-любовника

Кто такой Дракула, почему интерес к нему не утихает, чем интересен роман Стокера

СНОБ
Разговоры о яйцах: какие лучше — C0, C1 или C2? Разговоры о яйцах: какие лучше — C0, C1 или C2?

Что означают буквы и цифры на яйцах? Как правильно яйца хранить?

ТехИнсайдер
6 стратегий, которые помогут влюбленным выразить свои чувства 6 стратегий, которые помогут влюбленным выразить свои чувства

Как поделиться чувствами с «тем самым» человеком?

Psychologies
Высокое собрание Высокое собрание

Кто такой коллекционер? Эксперт? Знаток? Ценитель?

Правила жизни
«Нет, ваше величество…» «Нет, ваше величество…»

Как любой большой человек, Канкрин оценивался крайне противоречиво

Дилетант
Интерьер с чистым звуком Интерьер с чистым звуком

Акустический диффузор и интерьер в стиле этнопанк в кирпичном доме

Идеи Вашего Дома
Человек на радиоуправлении Человек на радиоуправлении

Нейроинтерфейсами начали заниматься в российской «Моторике»

ТехИнсайдер
Эль-Ниньо – капризный «ребенок» климатической системы Эль-Ниньо – капризный «ребенок» климатической системы

Что за природный феномен вызывает экстремальные погодные явления во всем мире?

Наука и техника
Любовь сильнее страха Любовь сильнее страха

Всегда была любовь к городу и желание сделать о нем сувенир

Seasons of life
Открыть в приложении