Как искусственный интеллект изменил продукты Mail.ru Group
Система искусственного интеллекта появляется, когда возникает задача, которую нельзя решить обычными способами. ИИ помогает корпорациям и стартапам анализировать большие данные, выявлять мошенничество, создавать беспилотные устройства, голосовые помощники, системы компьютерного зрения, а также автоматизировать маркетинг, логистику, управление бизнес-процессами и персоналом. Но хотя про ИИ уже давно все слышали, а разработки на его базе начали появляться в России ещё в нулевых, комплексно внедрять его в продукты на нескольких уровнях может только малый круг компаний — профучастников рынка. Узнали у директора по технологиям искусственного интеллекта Mail.ru Group Андрея Калинина, как ИИ пришёл в сервисы группы компаний ещё 15 с лишним лет назад и чего ждать от ИИ в будущем.
Как давно Mail.ru Group дружит с ИИ и зачем ей это нужно
Определимся с тем, что считать искусственным интеллектом. Автоматизирование — это уже зачатки ИИ, но это уже давно обыденность и мало кто именно так воспринимает подобные решения. Когда программист не пишет код, а обучает компьютер, — это уже машинное обучение. В разных проектах машинное обучение появляется в разное время. Так, поисковая система Mail.ru, которая работает с 2004 года, с самого появления использовала ИИ для ранжирования результатов поиска.
Ещё одно давнее применение ИИ — это Почта Mail.ru и её система антиспама. Сначала его делали вручную, на правилах и подборках подозрительных слов, потом стали собирать статистику, с каких IP-адресов приходят сомнительные письма, и блокировать их, далее научили компьютер анализировать тексты и самостоятельно искать подозрительные слова и словосочетания. Обучать ИИ помогали пользователи, отмечая нежелательные письма как спам. Более сложные и современные примеры машинного обучения — это рекламные технологии и умные ленты социальных сетей. Всё это есть в Mail.ru Group. К технологиям машинного обучения предъявляются новые и более сложные требования: по качеству, скорости реакции на изменившиеся условия работы (новый тип спама, тренды в соцсетях), анализируемому контенту (текст, картинки, видео).
В 2019 году Mail.ru Group вместе с другими крупнейшими российскими компаниями создала альянс в сфере искусственного интеллекта (AI-Russia Alliance). Его участники планируют объединить усилия в отдельных проектах, чтобы ускорить рост российского рынка ИИ.
Звучит сложно, но на практике это означает партнёрство крупнейших компаний из разных сфер — IT, финансов, коммуникаций и промышленности. Как результат — создание образовательных программ в области ИИ, упрощение нормативных барьеров, которые замедляют внедрение новых технологий, и совместное развитие рынка решений на основе ИИ. Ожидается, что объём российского рынка увеличится с 198,1 млрд руб. до 907,4 млрд руб. к 2024 году.
Откуда берутся данные для обучения ИИ
Есть разные способы разметки данных для обучения искусственного интеллекта.
Датасет создаётся с полным доступом к содержимому. Для этого в Mail.ru Group есть служба асессоров. Это несколько сотен человек, которые по инструкции выполняют задания разной степени сложности. Так, для улучшения работы поиска асессоры оценивают, насколько документы релевантны запросам пользователей. Или помогают обучать технологии компьютерного зрения, размечая на данных информацию о содержании текста, наличии объектов и их количестве. Например, на основе этой работы алгоритм компьютерного зрения Mail.ru Group научился расшифровывать номерные знаки автомобилей и определять, сколько человек прямо сейчас стоит в очереди.
Кроме асессоров, в разметке данных помогают группы из тысяч бета-тестеров и модераторов в социальных сетях, например «ВКонтакте» и «Одноклассниках». В том числе они обучали голосового ассистента Марусю включать музыку.
Главная загвоздка была в том, что российские пользователи произносили названия зарубежных исполнителей не так, как носители языка. Чтобы научить Марусю разбирать русский английский, в Mail.ru Group создали подборку из плейлистов и попросили бета-тестеров озвучить все названия.
Сбор датасета даёт разработчикам полный контроль над разметкой данных, но работа асессоров — это долго и дорого. Кроме того, иногда разметка данных невозможна, поскольку нельзя изучить содержание объектов, например в случае с почтой и письмами пользователей. Тогда используют информацию не о содержании объектов, а о реакции пользователей на него. При таком обучении ИИ весь процесс происходит скрыто от создателей. Например, для улучшения поиска собирают данные о том, на какие материалы кликают пользователи, и на основе этого предполагают, что эти документы лучше. Естественно, это не дает точный результат, поэтому финальные данные, прежде чем попасть к ИИ, фильтруются, чтобы исключать из них отвлекающий контент, например треш-контент и эротику. Кликстрим используют и для анализа нажатий на кнопку «Это спам», и для отслеживания реакции на систему рекомендаций соцсетей. Фактически, ИИ видит реакцию пользователей на него и учится её предсказывать.