Всевидящее око: как стартап Diffbot собрал в Сети триллион фактов и обошел Google
Создатель Diffbot Майк Тен в юности прочитывал все попавшиеся ему книги одну за другой. Повзрослев, он придумал поисковик, который умеет собирать и анализировать разбросанную по интернету информацию. Его технология уже обошла Google по числу собранных данных. Но в отличие от интернет-гиганта работать он предпочитает с бизнесом, а не с обычными пользователями.
Компания Сisco хотела, чтобы пользователи ее сервиса видеоконференций могли получить информацию обо всех участниках видеозвонка, например, о том, где они раньше работали и упоминались ли они ранее в новостях. Для этого она решила воспользоваться услугами стартапа Diffbot из калифорнийского города Маунтин-Вью.
Diffbot занимается структурированием информации из интернета в соответствии с индивидуальными запросами клиентов. Созданная разработчиками Diffbot поисковая система «прочесывает» миллионы страниц и выдает результаты по заданным параметрам. Для Сisco система, к примеру, подбирает статьи, в которых упоминаются участники видеоконференции. Для производителя кроссовок Diffbot делает обзоры отзывов покупателей и обсуждений на форумах. А для разработчика программного обеспечения для бизнеса подыскивает потенциальных клиентов. Обычно чтобы собрать такого рода данные в полном объеме требуется много времени. Однако создатели стартапа утверждают, что Diffbot изучает практически все доступные веб-страницы и может предоставить результаты поиска менее чем за секунду.
«Люди не могут узнать все обо всем. Поэтому нам нужно создать систему, которая будет способна это сделать», — говорит основатель Diffbot Майк Тан.
Как Diffbot играет на поле Google
Компании из всех отраслей экономики нанимают все больше специалистов по обработке данных и используют технологии искусственного интеллекта для моделирования спроса на свои продукты, анализа угроз со стороны конкурентов и поиска новых клиентов. Однако при проведении любого анализа даже искусственному интеллекту нужно опираться на конкретные данные. Здесь вступает в игру Diffbot. Основатели стартапа уверяют, что их поисковая система предоставляет более полные данные, а также делает это быстрее, чем разработки конкурентов.
Тан, которому сейчас 36 лет, говорит, что после почти десяти лет фальстартов и технических прорывов команде Diffbot удалось создать поисковый индекс, который уже проанализировал 90% открытых интернет-ресурсов. По неполным подсчетам, база данных Diffbot состоит из более чем триллиона фактов.
Это огромный объем, даже если сравнивать с базой данных Google. У интернет-гиганта есть своя технология структурирования информации, которая получила название Knowledge Graph. Именно ее можно назвать источником всех ответов, которые появляются в топе поиска, когда пользователи задают определенные вопросы. Последний раз Google обнародовала информацию о Knowledge Graph в конце 2016 года, и тогда в базе данных системы было лишь 70 млрд фактов.
Как и Knowledge Graph, поисковая система Diffbot постоянно просматривает миллиарды веб-страниц. Однако стартап использует поисковый индекс не для того, чтобы дать людям наиболее релевантные ссылки на информацию: Diffbot предоставляет компаниям данные, которые они могут затем интегрировать в свои собственные аналитические инструменты.
Diffbot привлек финансирование на сумму $12 млн и смог обзавестись несколькими именитыми клиентами, вроде Salesforce, eBay, Snapchat и Intel. В прошлом году доходы компании составили почти $5 млн. По мнению Тана, продажи вскоре могут удвоиться, поскольку все больше компаний находится в поиске крупномасштабных баз данных.