Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Оправданны ли траты: почему брекеты стоят так дорого? Оправданны ли траты: почему брекеты стоят так дорого?

Почему брекеты стоят так дорого и на чем нельзя экономить при лечении

ТехИнсайдер
От укачивания в транспорте можно использовать специальные очки! Вот как они работают От укачивания в транспорте можно использовать специальные очки! Вот как они работают

Необычный способ, который спасет ваш будущий отпуск

ТехИнсайдер
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
Правда ли, что на Руси люди парились в печи? Правда ли, что на Руси люди парились в печи?

Могли ли люди на Руси использовать печь вместо бани?

Культура.РФ
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
Лиза Арзамасова: «Люблю все, что не чрезмерно, хотя у меня бывают периоды «бунтов» Лиза Арзамасова: «Люблю все, что не чрезмерно, хотя у меня бывают периоды «бунтов»

Модный разговор с Владимиром Славским

Караван историй
В будущее возьмут всех: 5 причин, почему «Футурама» — великий мультсериал В будущее возьмут всех: 5 причин, почему «Футурама» — великий мультсериал

Что на самом деле сделало комедию про футуристических обывателей бессмертной

Правила жизни
Укусы насекомых Укусы насекомых

Как снять зуд, отек от укуса и узнать, занесена ли инфекция?

Лиза
Канаэ Минато: «Признание». Фрагмент из японского детектива Канаэ Минато: «Признание». Фрагмент из японского детектива

Отрывок из одного из самых знаменитых детективов Японии

СНОБ
Почему трюфели такие дорогие. Это же просто грибы! Почему трюфели такие дорогие. Это же просто грибы!

Почему именно трюфели стоят так много?

ТехИнсайдер
«Бей, беги, замри»: как помочь себе правильно прожить и отпустить стресс «Бей, беги, замри»: как помочь себе правильно прожить и отпустить стресс

Практики, которые помогут с комфортом пройти через сложные моменты

Psychologies
Базилик Базилик

Чем полезен базилик? Исследуем суперфуд и пробуем пару рецептов

Здоровье
Вася Ложкин: зачем рисовать котов и откуда появился псевдоним Вася Ложкин: зачем рисовать котов и откуда появился псевдоним

История одного из самых узнаваемых и скрытных художников современной России

Maxim
«Аббатство Даунтон»: Миллионные вложения, армия поклонников и похвала Елизаветы II «Аббатство Даунтон»: Миллионные вложения, армия поклонников и похвала Елизаветы II

Почему именно «Даунтон» завоевал сердца зрителей? Здесь нет ничего случайного

Караван историй
Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака

Трагическая история жизни Шинейд О'Коннор

VOICE
Говорящие книги, пошаговая навигация и виртуальные ассистенты: полезные приложения для незрячих пользователей Говорящие книги, пошаговая навигация и виртуальные ассистенты: полезные приложения для незрячих пользователей

Приложения позволили незрячим стать более независимыми. Вот подборка!

ТехИнсайдер
Все в школу! Иностранный язык может снизить количество ложных воспоминаний Все в школу! Иностранный язык может снизить количество ложных воспоминаний

Что такое ложные воспоминания и как с ними помогают бороться иностранные языки?

ТехИнсайдер
Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос

Сериал «Медведь»: как поддержка и любовь близких могут повлиять на бизнес

Forbes
Мелатонин не сильно помог детям с бессонницей Мелатонин не сильно помог детям с бессонницей

Ученые не рекомендуют назначать мелатонин в качестве терапии первой линии детям

N+1
Смерть им к лицу: каково это — побывать на спиритическом сеансе начала XX века Смерть им к лицу: каково это — побывать на спиритическом сеансе начала XX века

Чем жителей Питера так манил сверхъестественный мир?

Правила жизни
Маленький экран, большие амбиции Маленький экран, большие амбиции

История отношений независимых кинорежиссеров и сериальной индустрии

Weekend
«Главное — не сидеть на месте»: 7 простых способов сделать каждый день лучше «Главное — не сидеть на месте»: 7 простых способов сделать каждый день лучше

Как справиться с апатией и изменить жизнь к лучшему

Psychologies
Музыкальный ритм помог детям сделать меньше грамматических ошибок Музыкальный ритм помог детям сделать меньше грамматических ошибок

Музыкальные ритмы помогли франкоговорящим детям повторить услышанные фразы

N+1
Так себе экономический рост: почему японские писательницы пишут о безысходности Так себе экономический рост: почему японские писательницы пишут о безысходности

Мрачная изнанка «роста благосостояния» Японии

Forbes
Находитесь в позиции жертвы? Задайте себе всего 2 вопроса Находитесь в позиции жертвы? Задайте себе всего 2 вопроса

Все мы порой оказываемся жертвой. Но это не значит, что мы обречены на несчастья

Psychologies
Развитие на уровне мемов: российский бизнес — о настоящем и будущем нейросетей Развитие на уровне мемов: российский бизнес — о настоящем и будущем нейросетей

Как искусственный интеллект изменит рынок труда и кто лишится работы?

Forbes
«ПСЖ»: самый несчастный клуб на планете — один из самых богатых. Как деньги убивают амбициозный проект «ПСЖ»: самый несчастный клуб на планете — один из самых богатых. Как деньги убивают амбициозный проект

Что не так с «ПСЖ»

Maxim
Сценическая машинерия Сценическая машинерия

Легенды автопрома на театральных подмостках

Автопилот
«От измены всегда страдают лишь женщины»: мнение читательницы комментирует психолог «От измены всегда страдают лишь женщины»: мнение читательницы комментирует психолог

Правда ли, что от измен всегда страдает только женщина?

Psychologies
Вспоминая Джейн Биркин: какой была жизнь главной музы Сержа Генсбура и иконы стиля XX века Вспоминая Джейн Биркин: какой была жизнь главной музы Сержа Генсбура и иконы стиля XX века

Чем Джейн Биркин запомнилась зрителям и как вошла в историю моды

VOICE
Открыть в приложении