Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Прорыв в никуда. Тест-драйв уникальной «Волги» Прорыв в никуда. Тест-драйв уникальной «Волги»

Рассказываем драматичную историю ГАЗ-3105

РБК
Последние часы: чем занимались Джексон, Диана и другие звезды перед смертью Последние часы: чем занимались Джексон, Диана и другие звезды перед смертью

Последний день этих звезд ничем не отличался от других, ничто не предвещало беды

Cosmopolitan
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
От слов к действиям: как доводить все дела до конца и не бросать их на полпути От слов к действиям: как доводить все дела до конца и не бросать их на полпути

Полезное руководство, которое поможет прийти к реализации самых смелых идей

Playboy
Пчелиный яд разрушил клетки агрессивного рака молочной железы Пчелиный яд разрушил клетки агрессивного рака молочной железы

Компонент пчелиного яда мелиттин разрушает опухоли

N+1
Дипломатия ниже пояса Дипломатия ниже пояса

Российские юмористические шоу оказались в центре очередного скандала

СНОБ
Зубная фея Зубная фея

Эксперты о современных методах лечения неправильного прикуса

Vogue
«Правила мертвы». Глава Netflix рассказал о главных уроках, которые бизнес должен извлечь из кризиса «Правила мертвы». Глава Netflix рассказал о главных уроках, которые бизнес должен извлечь из кризиса

Глава Netflix объясняет успех компании отказом от бюрократии

Inc.
По тонкому льду По тонкому льду

Как глобальное потепление повлияет на Россию

N+1
Доставляя счастье Доставляя счастье

От нуля до миллиарда: история создания выдающейся компании из первых рук

kiozk originals
Как в 90-х креативно боролись с игровыми пиратами Как в 90-х креативно боролись с игровыми пиратами

Как разработчики защищали свои игры от пиратов до появления DRM-систем

Популярная механика
Без паники! Почему несовершенства снова в моде Без паники! Почему несовершенства снова в моде

Почему чрезмерный перфекционизм вреден

Cosmopolitan
Лекарство от диабета заподозрили в снижении риска развития деменции Лекарство от диабета заподозрили в снижении риска развития деменции

Препарат метформин может снизить риск развития деменции в пожилом возрасте

N+1
Быстрый рост деревьев отрицательно сказался на продолжительности их жизни Быстрый рост деревьев отрицательно сказался на продолжительности их жизни

Чем быстрее растут деревья, тем раньше они умирают

N+1
Новый инструмент для проверки материалов на стойкость к радиации Новый инструмент для проверки материалов на стойкость к радиации

Ученые имитируют облучение материалов пучками ускоренных атомов

Популярная механика
Моторы Москвы. Пять главных автомобилей довоенной столицы Моторы Москвы. Пять главных автомобилей довоенной столицы

Секреты автомобильной жизни довоенной столицы

РБК
«Джеймс Бонд филантропии»: создатель duty free Чарльз Фини раздал всё состояние на благотворительность — более $8 млрд «Джеймс Бонд филантропии»: создатель duty free Чарльз Фини раздал всё состояние на благотворительность — более $8 млрд

Чарльз Фини считает, что лучше раздавать деньги при жизни

VC.RU
Царь всех болезней Царь всех болезней

Биография рака

kiozk originals
Влияет ли среда обитания на запах и вкус пищи Влияет ли среда обитания на запах и вкус пищи

Почва, климат и микробы могут формировать вкус сельскохозяйственных культур

Популярная механика
Худеем, улучшая метаболизм Худеем, улучшая метаболизм

Пять простых правил для ускорения метаболизма

Здоровье
Битва роялями: из-за чего поругались Apple и Epic Битва роялями: из-за чего поругались Apple и Epic

Есть ли что-то общее у Тима Кука и Джона Рокфеллера

Maxim
11 самых странных концептуальных мотоциклов в истории: фото 11 самых странных концептуальных мотоциклов в истории: фото

Непрактичные или уникальные?

Популярная механика
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
Эффективный руководитель Эффективный руководитель

Книга, которая поможет повысить продуктивность работы

kiozk originals
Несгибаемая боярыня Несгибаемая боярыня

Боярыня Морозова пыталась бороться с церковной реформой

Дилетант
Тарантино, Ди Каприо, Уилл Смит и Клинт Иствуд вспоминают школу Тарантино, Ди Каприо, Уилл Смит и Клинт Иствуд вспоминают школу

Герои обложек Esquire делятся школьными воспоминаниями

Esquire
10 вариантов будущего через тысячу лет 10 вариантов будущего через тысячу лет

Попробуем посмотреть в далёкое будущее с позитивом

Популярная механика
«Там точно будет новый президент»: как участники списка Forbes реагируют на события в Белоруссии «Там точно будет новый президент»: как участники списка Forbes реагируют на события в Белоруссии

Forbes поговорил с предпринимателями, у которых есть бизнес-интересы в Беларуси

Forbes
Кайли Миноуг, Синтия Никсон и другие знаменитые женщины, победившие рак Кайли Миноуг, Синтия Никсон и другие знаменитые женщины, победившие рак

Примеры знаменитых женщин, которым удалось справиться с раком

Cosmopolitan
15 самых знаменитых взломщиков всех времен и народов 15 самых знаменитых взломщиков всех времен и народов

Истории о самых крышесносящих взломах

Maxim
Открыть в приложении