Заархивировать интернет, чтобы помочь студентам, журналистам и исследователям: зачем создавался сервис Wayback Machine
В 1996 году программист Брюстер Кейл придумал сервис, чтобы сохранять веб-страницы. Он не принёс ни цента, но хранит в себе около 700 млрд сайтов, книг, игр и фильмов. Откуда идея и с какими проблемами Кейл столкнулся — в пересказе TechRadar.
В 1996 году американский программист, предприниматель и активист Брюстер Кейл основал две отдельные, но тесно связанные организации.
Одна из них — Alexa Internet, которую Кейл запустил вместе с коллегой Брюсом Гиллиатом. Сервис собирал с сайтов метаданные о том, на кого они зарегистрированы, сколько там страниц, на какие ресурсы они ссылаются и как часто их обновляют.
В 1999 году сервис выкупила компания Amazon за $250 млн и превратила его в многофункциональный SEO-продукт — с собственной поисковой системой Alexa Image Search.
Вторая организация — некоммерческая инициатива Internet Archive, или «Архив интернета»: хранилище сохранённых онлайн-страниц, оцифрованных книг, аудио- и видеозаписей, изображений и ПО. Согласно замыслу, оно должно было стать интернет-версией крупнейшей в древнем мире Александрийской библиотеки и сберечь накопленные человечеством знания.
В начале 2021-го «Архиву интернета» исполнилось 25 лет, но Кейл, который по-прежнему сам заправляет делами, работой не доволен. Проект медленно развивается и вынужден противостоять угрозам, с которыми раньше не сталкивался.
Как появилась идея «Архива интернета»
О будущем интернета и о том, как в нём обмениваться ценными данными, Кейл задумался ещё в 1980-х во время учёбы в Массачусетском технологическом институте, где изучал компьютерные науки. Там он мог подключиться к ARPANET — прототипу современного интернета.
ARPANET — компьютерная сеть, которую в 1969 году построило агентство минобороны США. Закрылась она в 1990 году. Дэвид Крокер, один из участников проекта, разработал один из первых стандартов электронной почты.
Сеть позволяла компьютерам обмениваться данными по коммутируемой телефонной сети. Сами данные делила на небольшие фрагменты и передавала в отдельных «пакетах», которые «принимающая сторона» собирала в единое сообщение.
Развитие ARPANET сопровождалось всплеском инноваций в области вычислительной техники, пишет TechRadar. «А эксперименты с рассылками по сети показали, как это здорово — что люди из разных сфер и стран могут общаться без задержек и трений», — рассуждает Кейл. Тогда он и решил создать цифровое хранилище для совместного пользования файлами. Вот только инструментов для этого у него не было.
Окончив в 1982 году институт, он устроился к производителю мини-суперкомпьютеров Thinking Machines. Её основатели хотели монетизировать исследования в области массово-параллельной архитектуры вычислительных систем — менее дорогих в использовании. Программист возглавил разработку главного продукта компании — самого быстрого компьютера Connection Machine, пишет TechRadar.