Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Такие разные кошки: чем отличаются леопарды и ягуары Такие разные кошки: чем отличаются леопарды и ягуары

Неудивительно, что леопарда и ягуара часто путают. Но различия все же есть

ТехИнсайдер
Простая материя Простая материя

Дизайнер Екатерина Чернявская рассматривает интерьер как произведение искусства

Robb Report
Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам

В каких случаях ИИ навредит продукту, а в каких — поможет

Forbes
Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов

Можно ли управлять болью, гневом и другими разрушающими чувствами?

Psychologies
16 эффективных способов восстановления после эмоционального выгорания 16 эффективных способов восстановления после эмоционального выгорания

Эмоциональное выгорание — это не просто временное состояние усталости

Inc.
«Идеи живут вечно». Что общего у «Барби» и «Оппенгеймера» «Идеи живут вечно». Что общего у «Барби» и «Оппенгеймера»

Почему все сравнивают «Барби» и «Оппенгеймера»?

СНОБ
Инопланетяне в подводных лесах и семейная жизнь зубаток Инопланетяне в подводных лесах и семейная жизнь зубаток

Знакомимся с причудливыми обитателями пролива Сальтстраумен

N+1
5 самых интересных книг о космосе 5 самых интересных книг о космосе

Космос на бумаге: книги известных ученых, исследователей и астронавтов

Maxim
«Говорили, что он не мог управлять даже выдачей гамбургеров в забегаловке». Профессор Гарварда рассказал о Роберте Оппенгеймере «Говорили, что он не мог управлять даже выдачей гамбургеров в забегаловке». Профессор Гарварда рассказал о Роберте Оппенгеймере

Историк Стивен Шейпин: вклад Оппенгеймера в создание ядерного оружия преувеличен

Правила жизни
Тест-драйв гибрида Chery Tiggo 8 Pro e+ Тест-драйв гибрида Chery Tiggo 8 Pro e+

Chery Tiggo 8 Pro e+ успешно освоил гибридную систему с тремя моторами

СНОБ
Даже лишенные почти всех генов бактерии могут эволюционировать: невероятное открытие Даже лишенные почти всех генов бактерии могут эволюционировать: невероятное открытие

Даже очень скромная клетка может мутировать и адаптироваться

ТехИнсайдер
Финское лето. Тест шин Nokian Nordman S2 SUV Финское лето. Тест шин Nokian Nordman S2 SUV

Мы поставили на Subaru Forester финские Nokian Nordman S2 SUV и не прогадали

4x4 Club
Большая сушка: что происходит в организме во время сжигания жира — разбор с экспертами Большая сушка: что происходит в организме во время сжигания жира — разбор с экспертами

Сушка: в чем польза и вред этого способа похудения?

Psychologies
«Дневник обезьянки». Отрывок из книги Джейн Биркин «Дневник обезьянки». Отрывок из книги Джейн Биркин

Актриса и певица Джейн Биркин о жизни и учебе в Париже, искусстве и Эдит Пиаф

СНОБ
«Простоквашино», поехали! «Простоквашино», поехали!

Центры власти и стратегии выживания в одной нарисованной российской деревне

Weekend
«Динозавры России: Прошлое, настоящее, будущее» «Динозавры России: Прошлое, настоящее, будущее»

Книга о русских динозаврах и о тех, кто их изучает

N+1
Как понять, что партнер «выключается» из отношений: 5 показательных признаков Как понять, что партнер «выключается» из отношений: 5 показательных признаков

Как понять, что партнер больше не видит в отношениях перспектив?

Psychologies
Обратный эффект Обратный эффект

11 продуктов для тех, кто мечтает набрать вес, а не сбросить

Лиза
«Кукум». Отрывок из книги канадского писателя Мишеля Жана «Кукум». Отрывок из книги канадского писателя Мишеля Жана

Отрывок из пронзительного романа о любви «Кукум»

СНОБ
«Тайное вторжение»: как новый сериал Marvel возвращает зрителя в мир холодной войны «Тайное вторжение»: как новый сериал Marvel возвращает зрителя в мир холодной войны

Чем примечателен сериал «Тайное вторжение» и почему он вторичен?

Forbes
Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий

Как именно ретейлеры используют IT-технологии для решения сложных бизнес-задач

Inc.
Я всего лишь хотел нормального Рождества: 5 причин, почему «Крепкий орешек» — идеальный боевик Я всего лишь хотел нормального Рождества: 5 причин, почему «Крепкий орешек» — идеальный боевик

Почему мы готовы пересматривать «Крепкий орешек» из года в год?

Правила жизни
Почему Толстой не имел права бросать Анну Каренину под поезд Почему Толстой не имел права бросать Анну Каренину под поезд

Мария Микулина написала новую книгу под названием «Женщина на пике мозга»

Maxim
«Бывшие зеки никому не нужны»: зачем Ozon нанимает на работу людей с судимостью «Бывшие зеки никому не нужны»: зачем Ozon нанимает на работу людей с судимостью

Зачем был создан и как работает проект «Ozon без осуждения»

Forbes
Почему брак трещит по швам: 7 идей из книги «Как найти любовь, которую стоит сохранить» Почему брак трещит по швам: 7 идей из книги «Как найти любовь, которую стоит сохранить»

Почему счастливый брак может стать пыткой для вас?

Psychologies
5 книг, которые расскажут об истории создания великих изобретений 5 книг, которые расскажут об истории создания великих изобретений

Книги о любознательных изобретателях, которые двигали человечество вперед

СНОБ
Голодание на воде поможет сбросить лишний вес? Есть один важный нюанс Голодание на воде поможет сбросить лишний вес? Есть один важный нюанс

Экстремальный вид голодания может помочь сбросить вес. Но есть нюансы

ТехИнсайдер
В России впервые показали кроссовер «Москвич 5». Что это за машина В России впервые показали кроссовер «Москвич 5». Что это за машина

«Москвич 5»: JAC Sehol X6 под новым именем

РБК
Чему учить детей, чтобы они стали успешными: 5 вещей Чему учить детей, чтобы они стали успешными: 5 вещей

Чему именно стоит уделить внимание, воспитывая ребенка?

Psychologies
Самоуверенный алгоритм: какие риски внедрения ИИ пока недооцениваются Самоуверенный алгоритм: какие риски внедрения ИИ пока недооцениваются

ИИ обладают предсказательной способностью, но не могут заглянуть на шаг вперед

Forbes
Открыть в приложении