Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что такое «зима искусственного интеллекта» и когда ее ждать Что такое «зима искусственного интеллекта» и когда ее ждать

Что происходит во время «зимы искусственного интеллекта»?

ТехИнсайдер
Почему картошка фри в Почему картошка фри в

В картошке фри из "Макдоналдса" есть секретный ингредиент

ТехИнсайдер
Книга на выходные: как ChatGPT стал самым эффективным копирайтером «Зерокодера» Книга на выходные: как ChatGPT стал самым эффективным копирайтером «Зерокодера»

Отрывок из книги «Искусственный интеллект: путь к новому миру»

Inc.
Вася Ложкин: зачем рисовать котов и откуда появился псевдоним Вася Ложкин: зачем рисовать котов и откуда появился псевдоним

История одного из самых узнаваемых и скрытных художников современной России

Maxim
Немедикаментозное снижение массы обрекло канадца на хроническую боль Немедикаментозное снижение массы обрекло канадца на хроническую боль

Почему может развиться хроническая боль на фоне снижения массы тела

N+1
«Отсюда выхода нет»: кто делает из наркоблогеров рок-звезд и почему людям интересно смотреть, как другие умирают? «Отсюда выхода нет»: кто делает из наркоблогеров рок-звезд и почему людям интересно смотреть, как другие умирают?

Кто такие наркоблогеры и насколько опасен их контент?

Psychologies
Инженеры укрыли электромобиль одеялом Инженеры укрыли электромобиль одеялом

Термопокрывало охладит электромобиль днем и согреет ночью

N+1
Критические места. На что нужно обратить внимание при покупке подержанного VW Tiguan Критические места. На что нужно обратить внимание при покупке подержанного VW Tiguan

Куда следует заглянуть, покупая самую распространённую версию Tiguan 2.0 TSI

4x4 Club
«Бесценных слов транжир и мот»: путеводитель по художественным мирам Маяковского в иллюстрациях, созданных нейросетью «Бесценных слов транжир и мот»: путеводитель по художественным мирам Маяковского в иллюстрациях, созданных нейросетью

Разбираемся в художественном мире Маяковского с помощью иллюстраций

Правила жизни
Почему так важно обращать внимание на версию Bluetooth? Почему так важно обращать внимание на версию Bluetooth?

На что влияет версия Bluetooth на телефоне и наушниках?

CHIP
Россияне стали чаще интересоваться мистическими передачами и эзотерическим контентом Россияне стали чаще интересоваться мистическими передачами и эзотерическим контентом

Российские телеканалы фиксируют рост интереса к мистическим передачам

Forbes
Ужин подан! Ужин подан!

9 вопросов о правильном ужине

Лиза
Симбиоз или паразитирование? Симбиоз или паразитирование?

Какие выгода производителям от продукции под СТМ для ритейла?

Агроинвестор
6 глэмпингов в Подмосковье 6 глэмпингов в Подмосковье

Отдых на природе не обязательно предполагает сон в палатке и умывание в реке

СНОБ
Законное оскорбление величия Законное оскорбление величия

История Древнего Рима в зеркале сериальной продукции

Weekend
10 вопросов, которые мужья не должны задавать своим женам 10 вопросов, которые мужья не должны задавать своим женам

Те самые случаи, когда лучше молчать, чем говорить

Maxim
Огород на подоконнике за сущие копейки: какие овощи можно вырастить из обрезков прямо у себя дома Огород на подоконнике за сущие копейки: какие овощи можно вырастить из обрезков прямо у себя дома

Какие еще овощные культуры можно вырастить из обрезков

ТехИнсайдер
Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту

Фисташковая скорлупа может пригодиться вам в доме и на даче!

ТехИнсайдер
Как в русском фольклоре появились русалки? Как в русском фольклоре появились русалки?

Кого на Руси называли русалками?

Культура.РФ
Если не тиндер, то кот? Если не тиндер, то кот?

Марта Кетро рассказывает, где и как искать счастье

Новый очаг
5 способов безопасно снять заложенность ушей после полета на самолете 5 способов безопасно снять заложенность ушей после полета на самолете

Как побыстрее расстаться с заложенностью ушей после полета?

ТехИнсайдер
Все, что нужно знать о мороженом: когда, кому и почему летний десерт опасен Все, что нужно знать о мороженом: когда, кому и почему летний десерт опасен

Кому мороженое противопоказано и как наслаждаться им?

Psychologies
Снесший в XII веке одну из гималайских вершин мегаобвал пролил свет на эволюцию высокогорных систем Снесший в XII веке одну из гималайских вершин мегаобвал пролил свет на эволюцию высокогорных систем

Как может протекать долгосрочная топографическая эволюция высокогорных регионов

N+1
Создаем логотип с помощью нейросетей: 7 полезных сервисов Создаем логотип с помощью нейросетей: 7 полезных сервисов

Нейросети могут генерировать проекты для бизнеса

CHIP
“У тебя не мои глаза, не мои волосы”: горькая судьба Ари Булоня, всю жизнь доказывавшего, что он сын Алена Делона “У тебя не мои глаза, не мои волосы”: горькая судьба Ари Булоня, всю жизнь доказывавшего, что он сын Алена Делона

Одна из тяжелых страниц биографии Алена Делона: взаимоотношения с Ари Булонем

VOICE
Через призму кино: как Алексей Ган стал одним из создателей русского конструктивизма Через призму кино: как Алексей Ган стал одним из создателей русского конструктивизма

Глава из монографии о художнике Алексее Гане

Forbes
«Арабская Симона де Бовуар»: как Наваль эль-Саадави боролась за права женщин в Египте «Арабская Симона де Бовуар»: как Наваль эль-Саадави боролась за права женщин в Египте

Наваль эль-Саадави пожертвовала карьерой врача ради борьбы за права женщин

Forbes
Почему современные птицы выжили, когда динозавры вымерли Почему современные птицы выжили, когда динозавры вымерли

Как перья помогли птицам пережить динозавров?

ТехИнсайдер
Жутко громко и запредельно опасно: как шум убивает нас Жутко громко и запредельно опасно: как шум убивает нас

Громкие звуки провоцируют появление хронической бессонницы у людей

ТехИнсайдер
Какие могут быть мотивы Какие могут быть мотивы

Что делать, если музыка вас не связала, а наоборот

VOICE
Открыть в приложении