Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как работает Межвселенский насос – удивительный источник энергии, придуманный Айзеком Азимовым Как работает Межвселенский насос – удивительный источник энергии, придуманный Айзеком Азимовым

Как работает насос между вселенными и как Азимов изобрел его

ТехИнсайдер
Вода: сколько пить в литрах? Вода: сколько пить в литрах?

Правильный питьевой режим — что это за зверь?

Здоровье
Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков

Настроить телевизор правильно — проще, чем кажется

ТехИнсайдер
Менопауза, поиски себя и свобода: история о том, что происходит с женщиной в 50 лет Менопауза, поиски себя и свобода: история о том, что происходит с женщиной в 50 лет

«Перемена» — сериал о том, как 50-летняя женщина отправляется на поиски себя

Forbes
Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось

Почему зумерам и миллениалами так сложно взаимодействовать друг с другом?

Правила жизни
Три мотора и 6 литров на сотню: экономичный тест Chery Tiggo 8 Pro E+ Три мотора и 6 литров на сотню: экономичный тест Chery Tiggo 8 Pro E+

Технологичный, экономичный, солидный кроссовер с роскошным салоном

Maxim
90 процентов морепродуктов оказались под угрозой из-за человека 90 процентов морепродуктов оказались под угрозой из-за человека

Антропогенная деятельность загрязняет и нагревает природные воды

N+1
Все дело в генах Все дело в генах

Про ген худобы, шизофрению по наследству и другое поговорили с экспертом

Лиза
Чем отличается ревность от любовной зависимости Чем отличается ревность от любовной зависимости

Ревность и любовная зависимость: что это за чувства?

Psychologies
Деньги важнее титулов: 5 самых прибыльных выставочных поединков в истории бокса Деньги важнее титулов: 5 самых прибыльных выставочных поединков в истории бокса

Самые коммерчески успешные поединки прошлого

Forbes
Биография в дырочку Биография в дырочку

«Отец шатунов»: книга о Мамлееве, равная своему герою

Weekend
Ловушка для бизнеса: почему надо помнить об информационной безопасности Ловушка для бизнеса: почему надо помнить об информационной безопасности

Цифровизация несет риски, которые необходимо учитывать при ведении бизнеса

Forbes
Трогательная история. Она потеряла слух после 60 лет, но нашла силы жить Трогательная история. Она потеряла слух после 60 лет, но нашла силы жить

Язык жестов и глухонемые коллеги показали женщине новый путь в жизни

ТехИнсайдер
Убывающий субъект: почему Курганская область теряет население Убывающий субъект: почему Курганская область теряет население

Чем занимаются курганские предприниматели и какое у них будущее?

Forbes
Наука о чужих. Жизнь и разум во вселенной Наука о чужих. Жизнь и разум во вселенной

Земляне вряд ли смогут установить контакт с существами, похожими на них

Наука и жизнь
Неочевидное, но вероятное: зачем ехать на выходные в Каргополь Неочевидное, но вероятное: зачем ехать на выходные в Каргополь

Хотите открыть для себя Русский Север — начинайте с Каргополя

Правила жизни
Российский кинорежиссер Кирилл Кемниц: В кино денег всегда чуть-чуть не хватает Российский кинорежиссер Кирилл Кемниц: В кино денег всегда чуть-чуть не хватает

Интервью с российским режиссером Кириллом Кемницем

СНОБ
Чем заменить водку, чтобы было вкусно и недорого Чем заменить водку, чтобы было вкусно и недорого

Бюджетные и среднебюджетные дистилляты, которые незазорно рекомендовать друзьям

Maxim
Растения привлекли млекопитающих плодами с повышенной концентрацией спирта Растения привлекли млекопитающих плодами с повышенной концентрацией спирта

Зачем растения концентрируют спирт в своих плодах?

N+1
Дело тонкое Дело тонкое

Что надо знать российскому бизнесу при выходе на арабский рынок

Деньги
Что взяли от отца: как выглядят и чем занимаются сыновья рок-идола Мика Джаггера Что взяли от отца: как выглядят и чем занимаются сыновья рок-идола Мика Джаггера

Посмотрите на сыновей Мика Джаггера — похожи на своего знаменитого отца?

VOICE
Когда ты — не стандарт: 5 простых способов почувствовать себя самой красивой Когда ты — не стандарт: 5 простых способов почувствовать себя самой красивой

Лови формулу, которая поможет тебе раскрыть свою красоту и повысить самооценку!

VOICE
Восточные горизонты: почему российские предприниматели выбирают ОАЭ Восточные горизонты: почему российские предприниматели выбирают ОАЭ

Что привлекает российских предпринимателей в ОАЭ?

Правила жизни
Как страшно жить Как страшно жить

Как победить свои фобии?

Men Today
«История пиратства: от викингов до наших дней» «История пиратства: от викингов до наших дней»

Почему морские разбойники до сих пор существуют

N+1
Игра в детективов: сколько в России зарабатывают на интересе к убийствам и маньякам Игра в детективов: сколько в России зарабатывают на интересе к убийствам и маньякам

Как авторы подкастов о маньяках зарабатывают миллионы?

Forbes
Видимо-невидимо: как женщины на работе прячут эмоции, усталость и собственное мнение Видимо-невидимо: как женщины на работе прячут эмоции, усталость и собственное мнение

Как устроен невидимый эмоциональный труд женщин

Forbes
Комедия «Мое преступление»: как Франсуа Озон нежно высмеивает движение #Metoo Комедия «Мое преступление»: как Франсуа Озон нежно высмеивает движение #Metoo

Какой получилась комедия «Мое преступление» Франсуа Озона

Forbes
Вернуть связь. 7 шагов навстречу друг другу Вернуть связь. 7 шагов навстречу друг другу

Каникулы – отличное время, чтобы восстановить связь с ребенком

Новый очаг
Ужин подан! Ужин подан!

9 вопросов о правильном ужине

Лиза
Открыть в приложении