Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Звездная война: как космос становится новой ареной для противостояния России и США Звездная война: как космос становится новой ареной для противостояния России и США

США в четверг обвинили Россию в проведении испытаний противоспутникового оружия

Forbes
13 самых знаменитых чисел 13 самых знаменитых чисел

Арифметика на грани астрологии

Maxim
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
Звездные суды и приговоры знаменитостям Звездные суды и приговоры знаменитостям

Кто из российских и советских знаменитостей был осужден

СНОБ
Илон Маск Илон Маск

Tesla, SpaceX и дорога в будущее

kiozk originals
Познакомьтесь с брендом Paria Farzaneh Познакомьтесь с брендом Paria Farzaneh

Дизайнер из Ирана Пария Фарзане, вещи которой уже обожают Фрэнк Оушен и Pusha T

GQ
Часики тикают Часики тикают

Знакомьтесь: звезда TikTok и Instagram Лиза Анохина

Vogue
Антрополог и исследователь смерти Сергей Мохов о том, как в российском обществе заговорили о смерти, и о том, каково это — профессионально ее изучать Антрополог и исследователь смерти Сергей Мохов о том, как в российском обществе заговорили о смерти, и о том, каково это — профессионально ее изучать

Интервью с главным публиным лицом death studies в России Сергеем Моховым

Esquire
«Кадиш.com» — комический роман финалиста Пулитцера Натана Ингландера об отношениях отцов и детей. Публикуем его фрагмент «Кадиш.com» — комический роман финалиста Пулитцера Натана Ингландера об отношениях отцов и детей. Публикуем его фрагмент

Фрагмент из комического романа Натана Ингландера «Кадиш.com»

Esquire
Не делай так: 9 невероятно пошлых жизненных ситуаций Не делай так: 9 невероятно пошлых жизненных ситуаций

Жизненная пошлость – вовсе не обязательно глобальная пошлость

Cosmopolitan
Мама – супергерой Мама – супергерой

Как быть многодетной мамой и быть красивой, стройной и успешной в профессии

Здоровье
Поставить атлант на место: кому это надо и зачем? Поставить атлант на место: кому это надо и зачем?

Сейчас многие клиники наперебой предлагают «поставить атлант на место»

Psychologies
Внутренняя инженерия Внутренняя инженерия

Путь к радости. Практическое руководство от йога

kiozk originals
Scrum Scrum

Революционный метод управления проектами

kiozk originals
Военные и смешные: самая чудная форма армий мира Военные и смешные: самая чудная форма армий мира

Как выглядит военная форма в разных странах мира?

Maxim
Братья Райт Братья Райт

Люди, которые научили мир летать

kiozk originals
Паразит – царь природы Паразит – царь природы

Тайный мир самых опасных существ на Земле

kiozk originals
Когда разум молчит: зачем предприниматели обращаются к таро и гипнокоучам Когда разум молчит: зачем предприниматели обращаются к таро и гипнокоучам

Так ли бессмысленно обращаться к таро и гороскопам?

РБК
Что читать на выходных: отрывок из романа-взросления «Тысяча лун» Себастьяна Барри Что читать на выходных: отрывок из романа-взросления «Тысяча лун» Себастьяна Барри

Отрывок из романа Себастьяна Барри об извилистой истории индейской девочки

Esquire
Плыть по течению или бороться до конца? Рассуждает Алина Фаркаш Плыть по течению или бороться до конца? Рассуждает Алина Фаркаш

"Надо работать над собой" — такими установками нас уродуют с детства.

Cosmopolitan
Работа из дома может разрушить ваши зубы. Дантистка объяснила, как этого избежать Работа из дома может разрушить ваши зубы. Дантистка объяснила, как этого избежать

Сильный стресс может стать причиной бруксизма — ночого скрежета зубами

Inc.
На пике На пике

Как поддерживать максимальную эффективность без выгорания

kiozk originals
6 вопросов о финансах, которые вам следует обсудить с партнером 6 вопросов о финансах, которые вам следует обсудить с партнером

Во время пандемии как никогда важно говорить о деньгах

GQ
У спорта на рогах: 4 истории создания экстремальных фотографий У спорта на рогах: 4 истории создания экстремальных фотографий

Люди с камерой подчас рискуют ничуть не меньше, чем их модели. Как им удается

Maxim
Алла Горбунова Алла Горбунова

Алла Горбунова: для всех и ни для кого

Собака.ru
Прыжок в карьеру Прыжок в карьеру

Cергей Гилев о том, каково это – в 40 лет проснуться востребованным актером

Esquire
Как к 30 годам заработать под миллион долларов на фитнес-инстаграме Как к 30 годам заработать под миллион долларов на фитнес-инстаграме

Как фитнес-блогер Софья Солдатова монетизирует миллион подписчиков в Instagram

Forbes
Тарантино, Ди Каприо, Уилл Смит и Клинт Иствуд вспоминают школу Тарантино, Ди Каприо, Уилл Смит и Клинт Иствуд вспоминают школу

Герои обложек Esquire делятся школьными воспоминаниями

Esquire
«Быдло», «макарошки» и «качание прав». Чиновники vs граждане и правила коммуникационной войны «Быдло», «макарошки» и «качание прав». Чиновники vs граждане и правила коммуникационной войны

Глава из книги Дмитрия Солопова «10 заповедей коммуникационной войны»

СНОБ
Пять телесных проявлений депрессии Пять телесных проявлений депрессии

Мы привыкли, что депрессия – это прежде всего о душе, но ещё и о теле

Здоровье
Открыть в приложении