Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Николя Барро: Любовные письма с Монмартра Николя Барро: Любовные письма с Монмартра

Смерть жены выбивает молодого писателя Жюльена Азуле из колеи

СНОБ
Таинственное убийство на ферме Хинтеркайфике: загадочное преступление в Германии Таинственное убийство на ферме Хинтеркайфике: загадочное преступление в Германии

Загадочное преступление, которое произошло 4 апреля 1922 года в Германии

Cosmopolitan
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Пришла и говорю Пришла и говорю

О режиссерках, сценаристках и продюсерках, которые делают наш кинематограф лучше

Tatler
Дурацкая работа Дурацкая работа

Зачем человеку выполнять никому ненужную работу?

kiozk originals
Конец сказки Конец сказки

Чем может обернуться замужество

Лиза
Никита Ефремов: «Стараюсь не зацикливаться на себе» Никита Ефремов: «Стараюсь не зацикливаться на себе»

Никита Ефремов о грузе знаменитой фамилии и о собственной обидчивости

Cosmopolitan
Сам себе портной: что можно сшить из старых джинсов Сам себе портной: что можно сшить из старых джинсов

Сумка, сарафан, юбка и другие детали гардероба, которые можно сшить дома

Cosmopolitan
Маски и страхи: на Венецианском фестивале показали «Конференцию» — мощное кино о «Норд-Осте» от Ивана И. Твердовского Маски и страхи: на Венецианском фестивале показали «Конференцию» — мощное кино о «Норд-Осте» от Ивана И. Твердовского

Один из мощнейших фильмов — российская «Конференция» Ивана И. Твердовского

Forbes
По тонкому льду По тонкому льду

Как глобальное потепление повлияет на Россию

N+1
Самоубийство дочери и зависть к Аджани: вся правда о Джейн Биркин в ее дневнике Самоубийство дочери и зависть к Аджани: вся правда о Джейн Биркин в ее дневнике

В дневниках Джейн не играет и не пытается быть лучше, чем она есть

Cosmopolitan
Нарушение обмена веществ: почему растет вес и портится кожа Нарушение обмена веществ: почему растет вес и портится кожа

Как понять, что с обменом веществ начались проблемы, и что делать потом?

Cosmopolitan
Очаровательный кишечник Очаровательный кишечник

Как самый могущественный орган управляет нами

kiozk originals
«Если мы уберем уголь, все остальное развалится, как карточный домик». Интервью с губернатором Кемеровской области Сергеем Цивилевым «Если мы уберем уголь, все остальное развалится, как карточный домик». Интервью с губернатором Кемеровской области Сергеем Цивилевым

Губернатор Кемеровской области о том, что будет с Кузбассом через 30 лет

Forbes
Дипломатия ниже пояса Дипломатия ниже пояса

Российские юмористические шоу оказались в центре очередного скандала

СНОБ
Краткая история времени Краткая история времени

От Большого взрыва до черных дыр

kiozk originals
Женский живот: полезно или опасно качать пресс? Женский живот: полезно или опасно качать пресс?

Как состояние пресса сказывается на женском здоровье?

Psychologies
Пять компьютерных розыгрышей: как безобидно насолить другу Пять компьютерных розыгрышей: как безобидно насолить другу

Способы избавиться от офисной скуки

Популярная механика
По понятиям. Словарик эмпатичного мужчины По понятиям. Словарик эмпатичного мужчины

Развиваем эмоциональный интеллект вместе с экспертом-психологом

Playboy
Dior Dior

Коллекции Марии Грации Кьюри и Кима Джонса для Dior

Weekend
Как улучшить память: что делать, чтобы ничего не забывать Как улучшить память: что делать, чтобы ничего не забывать

Не слишком уверена в своей памяти? Это поправимо!

Cosmopolitan
Не бойся действовать Не бойся действовать

Женщина, работа и воля к лидерству

kiozk originals
Как поймать идеальный момент для продажи доли в компании: сценарии и риски Как поймать идеальный момент для продажи доли в компании: сценарии и риски

Как помочь команде кратно вырасти и в какой момент ее оставить

Forbes
Азиатская модель управления Азиатская модель управления

Удачи и провалы самого динамичного региона в мире

kiozk originals
Какое оружие брали с собой космонавты и зачем Какое оружие брали с собой космонавты и зачем

За пределами стратосферы побывало немало оружия

Популярная механика
Антология протеста Антология протеста

Чтобы победить полицейское насилие, Мартин Лютер Кинг не отвечал на него

Дилетант
Влюбленная в фотографию Влюбленная в фотографию

Селебрити-фотограф Ольга Тупоногова-Волкова презентует персональную выставку WET

OK!
Другой Египет: средневековые мечети, живой Некрополь и марсианские пейзажи в стране фараонов Другой Египет: средневековые мечети, живой Некрополь и марсианские пейзажи в стране фараонов

Несколько веских причин вновь вернуться в Египет

Forbes
Секси или нет? Что мужчины думают о женских коротких стрижках на самом деле Секси или нет? Что мужчины думают о женских коротких стрижках на самом деле

Что думают о женских коротких стрижках мужчины?

Cosmopolitan
5 подсказок для изменившего партнера 5 подсказок для изменившего партнера

Как восстановить отношения после измены?

Psychologies
Открыть в приложении