Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Команда молодости нашей»: самые титулованные советские спортсмены «Команда молодости нашей»: самые титулованные советские спортсмены

Спортсмены-легенды, которые выступали за СССР крайне успешно

ТехИнсайдер
Чему учить детей, чтобы они стали успешными: 5 вещей Чему учить детей, чтобы они стали успешными: 5 вещей

Чему именно стоит уделить внимание, воспитывая ребенка?

Psychologies
Зарядки, SIM-карты и кнопки: какие технологии в гаджетах могут исчезнуть уже через пару лет Зарядки, SIM-карты и кнопки: какие технологии в гаджетах могут исчезнуть уже через пару лет

О том, какие технологии в гаджетах имеют тенденцию к полному исчезновению

ТехИнсайдер
«Мы — выживальщики»: как представители разных семейных мифов реагируют на кризис — мнение психолога «Мы — выживальщики»: как представители разных семейных мифов реагируют на кризис — мнение психолога

Что такое индивидуальная самоидентификация семьи?

Psychologies
Мы выбираем друг друга не случайно Мы выбираем друг друга не случайно

Выбор партнера предопределен всем предшествующим ходом нашей жизни

Psychologies
Александр Светаков — Forbes: как тратить деньги и почему не стоит оставлять их детям Александр Светаков — Forbes: как тратить деньги и почему не стоит оставлять их детям

Александр Светаков рассказал о своем видении актуальных проблем филантропии

Forbes
Пауки-улобориды убили жертв пищеварительным соком Пауки-улобориды убили жертв пищеварительным соком

Отсутствие ядовитых желез на головогруди не помешало охоте пауков-улоборидов

N+1
Бережный уход Бережный уход

Как уволиться по закону, с радостью и выгодой

VOICE
Смеются ли андроиды над электроовцами? ИИ учится понимать юмор Смеются ли андроиды над электроовцами? ИИ учится понимать юмор

Группа ученых провела тестирование Больших языковых моделей на «чувство юмора»

ТехИнсайдер
История великой династии: как искал жену Михаил Феодорович Романов История великой династии: как искал жену Михаил Феодорович Романов

Глава из книги «Романовы. История великой династии» о Михаиле Романове

Forbes
Новый интерфейс «мозг-компьютер» не требует отверстия в черепе и крайне компактен: технологии будущего Новый интерфейс «мозг-компьютер» не требует отверстия в черепе и крайне компактен: технологии будущего

Австралийский стартап Synchron готов превзойти Neuralink

ТехИнсайдер
В ранней Вселенной наблюдаемое время протекает в 5 раз медленнее В ранней Вселенной наблюдаемое время протекает в 5 раз медленнее

Астрономы впервые наблюдали эффект, предсказанный Эйнштейном более века назад

ТехИнсайдер
Неочевидные законы разных стран, которые туристам лучше не нарушать Неочевидные законы разных стран, которые туристам лучше не нарушать

Необычные законы, которые стоит принять во внимание отдыхающим за рубежом

Maxim
Вдыхание чистого кислорода ускорило двигательную реакцию здоровых людей Вдыхание чистого кислорода ускорило двигательную реакцию здоровых людей

Вдыхание стопроцентного кислорода улучшает моторное обучение человека

N+1
«Невыносимая легкость бытия»: как Милан Кундера выбрал уединение и чистую литературу «Невыносимая легкость бытия»: как Милан Кундера выбрал уединение и чистую литературу

Как Милан Кундера отказался от общественной жизни и посвятил себя литературе

Forbes
Нелюбимые дети и патриархат: как в Ясной Поляне переосмысляют «Анну Каренину» Нелюбимые дети и патриархат: как в Ясной Поляне переосмысляют «Анну Каренину»

Как роман «Анна Каренина» пытаются критически переосмыслить сегодня?

Forbes
Даже лишенные почти всех генов бактерии могут эволюционировать: невероятное открытие Даже лишенные почти всех генов бактерии могут эволюционировать: невероятное открытие

Даже очень скромная клетка может мутировать и адаптироваться

ТехИнсайдер
Рекорды российского футбола: достижения «Зенита» 20-летней давности и серия ЦСКА Рекорды российского футбола: достижения «Зенита» 20-летней давности и серия ЦСКА

Forbes.Спорт рассказывает других командных рекордах российского футбола

Forbes
Физики нашли в замещенном апатите свинца комнатную сверхпроводимость при атмосферном давлении Физики нашли в замещенном апатите свинца комнатную сверхпроводимость при атмосферном давлении

Ученые нашли у апатита свинца сверхпроводящие свойства при комнатной температуре

N+1
Верить в бота: как локальное подразделение ММК вышло на внешний рынок Верить в бота: как локальное подразделение ММК вышло на внешний рынок

Взлета RPA можно ожидать на горизонте пяти лет

Forbes
Глупость в квадрате: что такое эффект Даннинга-Крюгера и как ему противостоять Глупость в квадрате: что такое эффект Даннинга-Крюгера и как ему противостоять

В чем суть эффекта Даннинга-Крюгера? Как оно проявляется в обычной жизни?

Psychologies
Когда женщины начали носить лифчики? Интересные факты! Когда женщины начали носить лифчики? Интересные факты!

Бюстгальтер — привычное нижнее белье на пересечении моды и функциональности

ТехИнсайдер
Зарядка для сердца. Чем заниматься и как тренироваться, чтобы «прокачать» главную мышцу Зарядка для сердца. Чем заниматься и как тренироваться, чтобы «прокачать» главную мышцу

Не все виды нагрузок подойдут для сердечно-сосудистой системы

Лиза
Ботаники переоткрыли пять потерянных видов растений из Перу и Эквадора Ботаники переоткрыли пять потерянных видов растений из Перу и Эквадора

Ботаники переоткрыли в Перу и Эквадоре пять тропических растений из рода Nasa

N+1
Детское время Детское время

Когда игрушки были металлическими и деревянными

Автопилот
Человечество производит столько курятины, что кости птиц стали символом новой геологической эпохи Человечество производит столько курятины, что кости птиц стали символом новой геологической эпохи

Почему именно куриные кости будут одними из важных находок археологов будущего?

ТехИнсайдер
Механический интеллект Механический интеллект

Как наука и искусство докомпьютерной эпохи пытались создать AI

Weekend
Три группы приматов независимо колонизировали Южную Америку около 30 миллионов лет назад Три группы приматов независимо колонизировали Южную Америку около 30 миллионов лет назад

Палеонтологи описали новый вид южноамериканских приматов

N+1
Связи решают все: как работает теория 6 рукопожатий — объяснение математиков Связи решают все: как работает теория 6 рукопожатий — объяснение математиков

Уаждый человек заочно знаком с любым другим жителем планеты

Psychologies
6 навыков внутреннего ребенка, которые пригодятся каждому взрослому 6 навыков внутреннего ребенка, которые пригодятся каждому взрослому

Помните ли вы, как радовались простым вещам в раннем детстве?

Psychologies
Открыть в приложении