Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что делать, если змея заползла на дачу: краткий совет и полный гайд для тех, кто любит животных Что делать, если змея заползла на дачу: краткий совет и полный гайд для тех, кто любит животных

Как убрать с дачного участка заползшую змею

ТехИнсайдер
Фарфоровый камин и китайский кабинет: как реставраторы работают на деньги меценатов Фарфоровый камин и китайский кабинет: как реставраторы работают на деньги меценатов

О сложных реставрациях-реконструкциях, выполненных на деньги меценатов

Forbes
Аналоги YouTube в России в 2025 году: 5 альтернативных сервисов Аналоги YouTube в России в 2025 году: 5 альтернативных сервисов

Какие аналоги видеохостинга могут стать конкурентами YouTube

Inc.
Два аспида не поделили червягу Два аспида не поделили червягу

Исследователи стали свидетелями битвы за добычу между двумя коралловыми аспидами

N+1
6 ошибок при использовании солнцезащитного крема: запомните и никогда так больше не делайте 6 ошибок при использовании солнцезащитного крема: запомните и никогда так больше не делайте

Рассказываем, что делать с солнцезащитным кремом не надо

ТехИнсайдер
Мадонна Мур Мадонна Мур

Главный редактор Алиса Жидкова встретилась с журналистом Мадонной Мур

Grazia
Самки китайских лягушек подмигнули понравившимся самцам Самки китайских лягушек подмигнули понравившимся самцам

Самки китайских лягушек моргают самцам, с которыми хотят спариться

N+1
Когда я выпивала, я становилась классной Когда я выпивала, я становилась классной

Реальные истории для тех, кто хочет оттолкнуться от дна

Новый очаг
«Когда я боюсь , я иду напролом» «Когда я боюсь , я иду напролом»

Ксения Трейстер — о твердом характере и желании быть во всем первой

OK!
12 продуктов, которые способны снижать уровень холестерина 12 продуктов, которые способны снижать уровень холестерина

Некоторые продукты действительно могут помочь снизить уровень холестерина!

ТехИнсайдер
Как ученые смогли снять отпечатки пальцев с 2400-летнего трупа! История болотного тела из Толлунда Как ученые смогли снять отпечатки пальцев с 2400-летнего трупа! История болотного тела из Толлунда

Усопший когда-то стал жертвой человеческого жертвоприношения

ТехИнсайдер
Что такое синдром навязчивых грез и как с ним бороться Что такое синдром навязчивых грез и как с ним бороться

Что такое синдром навязчивых грез и можно ли от него избавиться

РБК
Язык в поисках понятия о себе Язык в поисках понятия о себе

Можно спорить о начальной точке, когда любой язык стал пониматься как система

Знание – сила
Для смелых читателей: как Дарина Якунина 15 лет руководит издательством «Поляндрия» Для смелых читателей: как Дарина Якунина 15 лет руководит издательством «Поляндрия»

Основательница «Поляндрии» — об издательстве и детских книгах

Forbes
10 лучших лайфхаков для мойки автомобиля подручными средствами 10 лучших лайфхаков для мойки автомобиля подручными средствами

Чтобы привести машину в порядок, вовсе не обязательно ехать на мойку

Maxim
Патологическое накопительство животных: 4 симптома «зоологического плюшкинизма» Патологическое накопительство животных: 4 симптома «зоологического плюшкинизма»

Зачем люди заводят огромное количество кошек и собак?

Psychologies
Вне моды Вне моды

Blue Jeans — одна из самых сложных суперъяхт верфи Van der Valk

Y Magazine
Кто вы, Сигрид Гордая? Кто вы, Сигрид Гордая?

Что нам известно о биографии Сигрид Гордой из скандинавских саг?

Дилетант
Окончание трилогии о мотивации. Что делать, если ребенок ничего не хочет Окончание трилогии о мотивации. Что делать, если ребенок ничего не хочет

Как вести себя родителям, если ребенок все время лежит на диване

СНОБ
Океанская рыба, заплывшая в реку Океанская рыба, заплывшая в реку

Об истории замысла Словаря культуры XXI века

Знание – сила
Что ваш музыкальный вкус говорит о вашей личности: только наука Что ваш музыкальный вкус говорит о вашей личности: только наука

Любите поп-хиты? А, может быть, вы фанат хэви-метал? Что это говорит о вас?

ТехИнсайдер
«Мы мало времени проводим вместе»: как решить эту проблему — 11 главных шагов «Мы мало времени проводим вместе»: как решить эту проблему — 11 главных шагов

Как сохранить союз, невзирая на загруженную жизнь?

Psychologies
Не стригись: эти продукты помогают, если волосы растут медленно и постоянно ломаются Не стригись: эти продукты помогают, если волосы растут медленно и постоянно ломаются

Как отрастить длинные волосы?

VOICE
Поиск себя, детективы и любовь: 10 удачных экранизаций женских романов Поиск себя, детективы и любовь: 10 удачных экранизаций женских романов

Удачные экранизации романов, написанных женщинами

Forbes
По следам Америго Веспуччи По следам Америго Веспуччи

Своим капризом судьба обессмертила путешественника Америго Веспуччи

Знание – сила
Проще простого: самый быстрый способ почистить садовые инструменты Проще простого: самый быстрый способ почистить садовые инструменты

Хочешь знать, как быстро почистить садовые инструменты?

VOICE
Как избавиться от пивного живота: советы врачей Как избавиться от пивного живота: советы врачей

«Пивной живот» может дорого обойтись вашему здоровью

ТехИнсайдер
«Джеймс Уэбб» отыскал самую древнюю спокойную галактику «Джеймс Уэбб» отыскал самую древнюю спокойную галактику

Эта спокойная галактика существовала спустя 700 млн лет после Большого Взрыва

N+1
Золото уходит к центробанкам и частникам Золото уходит к центробанкам и частникам

По итогам года производство золота выросло на 3% до исторического максимума

Деньги
Команда «На взлёт» Команда «На взлёт»

Эксперты назвали художников, чьи работы имеют шанс вырасти в цене

RR Люкс.Личности.Бизнес.
Открыть в приложении