Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Орудия пыток Орудия пыток

Для допросов с применением пыток были придуманы самые разные приспособления

Дилетант
Животная страсть Животная страсть

Елена Перминова: о муках совершенствования пресса

Vogue
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
«Люди не знают, что такое инвалидность»: Сэмми Джабраиль о жизни с протезом и детстве в Дагестане «Люди не знают, что такое инвалидность»: Сэмми Джабраиль о жизни с протезом и детстве в Дагестане

Как в России относятся к людям с инвалидностью?

Forbes
Киностудии дореволюционной России Киностудии дореволюционной России

Кто создавал в России первые киностудии и какие картины на них снимали

Культура.РФ
10 необычных Opel 10 необычных Opel

Интереснейшие концепт-кары и прототипы Opel

Популярная механика
Зубная фея Зубная фея

Эксперты о современных методах лечения неправильного прикуса

Vogue
Почему ты видишь в соцсетях дурацкую рекламу и как это исправить Почему ты видишь в соцсетях дурацкую рекламу и как это исправить

Почему реклама в соцсетях показывает тебе то, чем ты не интересуешься?

Maxim
Дом веселых и находчивых Дом веселых и находчивых

Модернистский дом 1960‑х годов в идеальном состоянии

AD
Война за креатив Война за креатив

Как преодолеть внутренние барьеры и начать творить

kiozk originals
Слишком взрослый для внутреннего ребенка? Слишком взрослый для внутреннего ребенка?

Признайтесь, что вы чувствуете, услышав словосочетание «внутренний ребенок»?

Psychologies
Мужчины тоже плачут: 6 самых частых «разновидностей» людских слез Мужчины тоже плачут: 6 самых частых «разновидностей» людских слез

Когда дело доходит до слез, не все из них одинаковы

Playboy
Автопроизводителя имени Теслы обвинили в наглом мошенничестве Автопроизводителя имени Теслы обвинили в наглом мошенничестве

Серьезные обличения в наглой лжи Теслы

Популярная механика
Как семейство Кардашьян заработало больше $2 млрд благодаря 14-летнему реалити-шоу Как семейство Кардашьян заработало больше $2 млрд благодаря 14-летнему реалити-шоу

Как вышло, что с закрытием шоу «Семейства Кардашьян» доходы семьи не иссякнут?

Forbes
Ольга Слободская: «У КГБ к группе «Кино» всегда были вопросы» Ольга Слободская: «У КГБ к группе «Кино» всегда были вопросы»

Интервью с секретарем Ленинградского рок-клуба, где начался путь «Кино»

Esquire
Что будет, если все люди на Земле прыгнут одновременно Что будет, если все люди на Земле прыгнут одновременно

Сможем ли мы сдвинуть нашу планету, если подпрыгнем все вместе?

Популярная механика
Каким спортом заняться? 8 советов, которые помогут выбрать лучший вариант для тебя Каким спортом заняться? 8 советов, которые помогут выбрать лучший вариант для тебя

Как выбрать подходящий вид спорта и начать им заниматься?

Playboy
Как стресс и тревоги влияют на мир моды Как стресс и тревоги влияют на мир моды

В 2020 году индустрия моды пережила самые большие потрясения в своей истории

GQ
Доноры нашлись! Расторгуев, Гомес и другие звезды, которым пересадили органы Доноры нашлись! Расторгуев, Гомес и другие звезды, которым пересадили органы

Селебрити, которым пришлось пережить трансплантацию, чтобы вылечиться

Cosmopolitan
3 схожих симптома пограничного расстройства личности и ПТСР 3 схожих симптома пограничного расстройства личности и ПТСР

Как различить пограничное расстройство личности и посттравматический синдром?

Psychologies
Новейший папа Новейший папа

Татьяна Алешичева о Джуде Лоу в этнопсиходелическом хоррор-сериале «Третий день»

Weekend
Как формируется детское мировоззрение Как формируется детское мировоззрение

Вопрос «кто виноват?» — основной толчок для формирования мировоззрения удетей

СНОБ
Миры миров Миры миров

Как стать президентом в мультивселенной

Популярная механика
Карантинный спорт, опыт редакции: как в Подмосковье прошла гонка крейсерских парусных яхт Карантинный спорт, опыт редакции: как в Подмосковье прошла гонка крейсерских парусных яхт

Марина Дульнева поучаствовала в регате, и поняла, как чувствует себя матрос

Esquire
В ожидании «косяков» власти: можно ли говорить об успехе «Умного голосования» Навального? В ожидании «косяков» власти: можно ли говорить об успехе «Умного голосования» Навального?

Единый день голосования стал успехом для власти

Forbes
«Мама, познакомься…»: неподходящие избранники наших детей «Мама, познакомься…»: неподходящие избранники наших детей

Что делать, если ваш знакомит вас с тем, кто ей или ему совершенно не подходит?

Psychologies
Самое сухое место на Земле — песчаные дюны Антарктиды Самое сухое место на Земле — песчаные дюны Антарктиды

Сухие долины — место, где вот уже два миллиона лет не было никаких осадков

Maxim
Последние часы: чем занимались Джексон, Диана и другие звезды перед смертью Последние часы: чем занимались Джексон, Диана и другие звезды перед смертью

Последний день этих звезд ничем не отличался от других, ничто не предвещало беды

Cosmopolitan
Уравнение с переменными. Три мнения о Land Rover Discovery Sport Уравнение с переменными. Три мнения о Land Rover Discovery Sport

Редакторы Autonews — об обновленном Land Rover Discovery Sport

РБК
Как выбрать свитер Как выбрать свитер

Свитер — это обычно то, что первым выпадает на тебя из шкафа

Maxim
Открыть в приложении