Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Заряженные на экологию Заряженные на экологию

Что оставляет меньший след в природе: электрокары или автомобили на бензине?

РБК
Видеть талант в каждом: как Елена Гнесина посвятила жизнь обучению музыке Видеть талант в каждом: как Елена Гнесина посвятила жизнь обучению музыке

История Елены Гнесиной, основавшей один из главных музыкальных вузов в России

Forbes
Расчеты на будущее Расчеты на будущее

Какие новые технологии вычислений придут на смену классическим компьютерам

РБК
Вы будете в шоке, когда узнаете, что раньше означало выражение «страдать херней»! Вы будете в шоке, когда узнаете, что раньше означало выражение «страдать херней»!

«Херня» — это грыжа на латинском, а те, кто ею страдал, были больными людьми

ТехИнсайдер
Пифагор, или Теорема с одним неизвестным Пифагор, или Теорема с одним неизвестным

«Нет ни одной детали в жизни Пифагора, которая не была бы опровергнута»

Дилетант
Новые улики: как тру-крайм-сериалы и подкасты помогают в реальных расследованиях Новые улики: как тру-крайм-сериалы и подкасты помогают в реальных расследованиях

Тру-крайм проекты, которые помогли сдвинуть расследования с мертвых точек

Forbes
«Когда у тебя много детей, остается сильно меньше времени, чтобы думать о смерти». Интервью с режиссером Николаем Хомерики «Когда у тебя много детей, остается сильно меньше времени, чтобы думать о смерти». Интервью с режиссером Николаем Хомерики

Режиссер Николай Хомерики о сериале «Чистые», Петербурге, кино и смерти

СНОБ
«Психоанализ может быть полезен любому»: что нужно знать об этом методе психотерапии «Психоанализ может быть полезен любому»: что нужно знать об этом методе психотерапии

Чарльз Турк по сей день совмещает в практике психиатрию и психоанализ

Psychologies
Всё сложится! Всё сложится!

Лайфхаки, которые упростят сборы и сделают путешествие комфортнее

Новый очаг
Самые известные пираты в истории Самые известные пираты в истории

Пираты, лихой судьбе которых позавидует сам капитан Джек Воробей!

Maxim
Как избавиться от платяной моли: рекомендации профессиональных клинеров Как избавиться от платяной моли: рекомендации профессиональных клинеров

Рассказываем, какие существуют способы борьбы с платяной молью!

VOICE
Красная горка Красная горка

Ярмарка невест, катание яиц и еще 5 счастливых традиций Антипасхи

Лиза
Агрессоры в саду Агрессоры в саду

В статье речь пойдёт не о диких сорняках, а об обитателях сада, посаженных нами

Наука и жизнь
7 всеобщих заблуждений о психологических травмах 7 всеобщих заблуждений о психологических травмах

Некоторые мифы, которые окружают травму: что это такое и что может ее нанести

Psychologies
Пыльца покажет Пыльца покажет

Как растения раскрывают преступления и загадки археологии

N+1
Все по уму: как нейросети меняют представления пользователей о телефонах Все по уму: как нейросети меняют представления пользователей о телефонах

О принципиальных изменениях в функционале смартфонов и о Galaxy AI

Forbes
«Любуйтесь, мамаша, вот он, ребенок ваш»: как женщины переживают акушерское насилие «Любуйтесь, мамаша, вот он, ребенок ваш»: как женщины переживают акушерское насилие

Книга казахской писательницы Алтынай Султан об опыте беременности

Forbes
Одному боту известно: как простейший софт помогает абитуриентам поступить Одному боту известно: как простейший софт помогает абитуриентам поступить

Как талантливые абитуриенты перегружают отечественные вузы летом?

Forbes
Мягкий и подключаемый гибрид. В чём разница и как работают? Мягкий и подключаемый гибрид. В чём разница и как работают?

Что называют обычным гибридом (HEV), а что подключаемым (PHEV)

4x4 Club
9 героев минувшего сезона РПЛ: от лучшего игрока — до защитника «Зенита» 9 героев минувшего сезона РПЛ: от лучшего игрока — до защитника «Зенита»

Итоги сезона-2023/24 Российской премьер-лиги: кто и за что получил премии

Forbes
Бум внутри периметра: можно ли удвоить долю фондового рынка в российской экономике Бум внутри периметра: можно ли удвоить долю фондового рынка в российской экономике

Быстрый рост фондового рынка возможен, считает главный экономист «Эксперта РА»

Forbes
Все дорожки ведут в Рим. Каким получился «Мегалополис» Фрэнсиса Форда Копполы? Все дорожки ведут в Рим. Каким получился «Мегалополис» Фрэнсиса Форда Копполы?

«Мегалополис» — многострадальный фильм, идею которого режиссер вынашивал с 1977

Правила жизни
Владимир Владимирцев: Во всем мире камни делят на цветные и бриллианты, но не в России Владимир Владимирцев: Во всем мире камни делят на цветные и бриллианты, но не в России

В чем тонкости русской огранки, как сочетать творчество и законы физики

СНОБ
Виртуальные дали Виртуальные дали

Нейросети врываются в мир кино для взрослых и позволяют нарисовать любой сюжет

Men Today
10+ предметов, которые сделает ослепительно чистыми перекись водорода: советы клинеров 10+ предметов, которые сделает ослепительно чистыми перекись водорода: советы клинеров

Как использовать перекись водорода для очистки самых разных поверхностей

VOICE
Молодо-зелено Молодо-зелено

Проблемы, которые мешают вырастить идеальный газон

Лиза
«Все хорошее заканчивается»: 3 неожиданных плюса этой мысли «Все хорошее заканчивается»: 3 неожиданных плюса этой мысли

Зачем думать о том, что хорошее рано или поздно закончится

Psychologies
РФ в БРИКС: «Мы нацелены на плотную работу с партнерами» РФ в БРИКС: «Мы нацелены на плотную работу с партнерами»

Ключевые аспекты работы БРИКС и участие РФ в этом объединении

ФедералПресс
Видео: посмотрите на солнечные дожди, извержения и корональный «мох» на поверхности Солнца Видео: посмотрите на солнечные дожди, извержения и корональный «мох» на поверхности Солнца

Что помогут нам объяснить потоки перегретого материала на Солнце?

ТехИнсайдер
8 предметов в спальне, которые нарушают ваш сон: избавьтесь от них немедленно 8 предметов в спальне, которые нарушают ваш сон: избавьтесь от них немедленно

Именно эти предметы в спальне нарушают ваш сон

ТехИнсайдер
Открыть в приложении