Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Знак качества: зачем на самом деле на фрукты клеят маленькие наклейки Знак качества: зачем на самом деле на фрукты клеят маленькие наклейки

Для чего нужны эти наклейки на фруктах и что за цифры на них указаны

ТехИнсайдер
ИИ может ускорить процесс научных открытий и изменить развитие науки ИИ может ускорить процесс научных открытий и изменить развитие науки

ИИ может предсказывать научные открытия

ТехИнсайдер
Разработана система безопасности при проведении шоу с тысячами дронов Разработана система безопасности при проведении шоу с тысячами дронов

Как метод обучения «стай» дронов сможет гарантировать их безопасную работу

ТехИнсайдер
Как мозг строит модели будущего и действует согласно этим моделям Как мозг строит модели будущего и действует согласно этим моделям

Память не только сохраняет воспоминания, но и позволяет прогнозировать будущее

ТехИнсайдер
Как научиться принимать комплименты Как научиться принимать комплименты

Почему бывает трудно принимать комплименты и как с этим справиться

Inc.
Почему Том Круз сам делает трюки на съемках? Гайд по безумию актера Почему Том Круз сам делает трюки на съемках? Гайд по безумию актера

Том Круз ломал конечности и мог погибнуть на съемках

Maxim
13 самых популярных вопросов про кондиционеры: проверьте свои знания 13 самых популярных вопросов про кондиционеры: проверьте свои знания

Кондиционеры: все, о чем вы не знали, у кого спросить

CHIP
Здоровье от природы Здоровье от природы

7 эффективных природных антибиотиков

Лиза
Как текстильная промышленность влияла на культуру, экономику и политику Как текстильная промышленность влияла на культуру, экономику и политику

О тканях как об одном из главных товаров в истории человечества

СНОБ
Спящая красавица: как стать моложе за одну ночь — 12 рекомендаций Спящая красавица: как стать моложе за одну ночь — 12 рекомендаций

Как использовать ночное время с максимальной пользой для внешности?

Psychologies
Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Почему брови помогают искусственному интеллекту нас обманывать

Forbes
60 лет в огне: как подземные пожары превратили Сентрейлию в «город-призрак» 60 лет в огне: как подземные пожары превратили Сентрейлию в «город-призрак»

История «город-призрака», который подземные пожары превратили в «Сайлент Хилл»

Forbes
Как вернуться к работе после отдыха и не уволиться в первый день Как вернуться к работе после отдыха и не уволиться в первый день

Почему бывает сложно приняться за работу после отдыха

Правила жизни
Почему пассажирам нельзя меняться местами в самолетах? Попробуйте догадаться о причинах Почему пассажирам нельзя меняться местами в самолетах? Попробуйте догадаться о причинах

Почему вы не можете занять другое место в самолете, если оно свободно?

ТехИнсайдер
Женщинам после 40 нужно знать! Эти модные трюки скинут тебе до 10 лет Женщинам после 40 нужно знать! Эти модные трюки скинут тебе до 10 лет

Выбирать одежду после сорока действительно сложнее, чем в двадцать

VOICE
Что такое кушон и как им пользоваться. Советы экспертов Что такое кушон и как им пользоваться. Советы экспертов

Разбираемся, так ли хороши кушоны на самом деле и нужно ли их мыть

РБК
Покровительница христианских народов: как Россия боролась за влияние на Балканах Покровительница христианских народов: как Россия боролась за влияние на Балканах

Как обрастала мифами история отношений России и Западных Балкан?

Forbes
Коппола: как выходцы из семьи итальянских иммигрантов изменили Голливуд Коппола: как выходцы из семьи итальянских иммигрантов изменили Голливуд

Отрывок из книги «Коппола. Семья, изменившая кинематограф» Айана Натана

Forbes
Зарядка для сердца. Чем заниматься и как тренироваться, чтобы «прокачать» главную мышцу Зарядка для сердца. Чем заниматься и как тренироваться, чтобы «прокачать» главную мышцу

Не все виды нагрузок подойдут для сердечно-сосудистой системы

Лиза
Сезонное предложение Сезонное предложение

Разбираемся, какие сезонные продукты нам помогут отлично выглядеть

Лиза
5 главных книг о Владимире Набокове, которые помогут лучше его понять 5 главных книг о Владимире Набокове, которые помогут лучше его понять

Пять главных книг, которые можно прочитать о Набокове

Правила жизни
Найдены гены, связанные с посттравматическим стрессом и депрессией Найдены гены, связанные с посттравматическим стрессом и депрессией

Гены больного мозга работают совершенно не так, как у здорового

ТехИнсайдер
Все дело в генах Все дело в генах

Про ген худобы, шизофрению по наследству и другое поговорили с экспертом

Лиза
Я — сноб: актриса Наташа Бардо Я — сноб: актриса Наташа Бардо

Актриса Наташа Бардо — о том, что удивляет ее в людях больше всего

СНОБ
Дрожь Вселенной: как астрономы открыли сотрясение пространства черными дырами Дрожь Вселенной: как астрономы открыли сотрясение пространства черными дырами

Как сверхмассивные черные дыры меняют пространство и время

Forbes
«Ты зануда, а в IT за это платят»: как я за три с половиной месяца стала тестировщиком «Ты зануда, а в IT за это платят»: как я за три с половиной месяца стала тестировщиком

Ольге было 35, когда она решила стать тестировщиком, и вот что из этого вышло

VOICE
Дрон проехался по земле внутри вращающейся сферической клетки Дрон проехался по земле внутри вращающейся сферической клетки

Гибридный робот, который способен как летать, так и ездить по поверхности

N+1
«На жестовом языке видят сны»: как Елена Максимова создала проект по поддержке глухих «На жестовом языке видят сны»: как Елена Максимова создала проект по поддержке глухих

Основательница организации «Услышать тишину» — о сообществе глухих людей

Forbes
Три группы приматов независимо колонизировали Южную Америку около 30 миллионов лет назад Три группы приматов независимо колонизировали Южную Америку около 30 миллионов лет назад

Палеонтологи описали новый вид южноамериканских приматов

N+1
Человеческие голоса заставляют животных в лесу нервничать Человеческие голоса заставляют животных в лесу нервничать

Животные в лесу меняют свое поведение, когда слышат человеческие звуки

ТехИнсайдер
Открыть в приложении