Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Упереться в «бумажный потолок»: как отсутствие диплома мешает людям строить карьеру Упереться в «бумажный потолок»: как отсутствие диплома мешает людям строить карьеру

Как «бумажный потолок» ограничивает таланты и амбиции людей

Forbes
Самые плохие сериалы первой половины 2023 года Самые плохие сериалы первой половины 2023 года

Эти сериалы нас крайне разочаровали и заставили нервничать

Maxim
Я — сноб: коллекционер Антон Козлов Я — сноб: коллекционер Антон Козлов

Коллекционер Антон Козлов — про искусство собирать современный арт

СНОБ
Николай Лебедев: Испытание блокбастерами Николай Лебедев: Испытание блокбастерами

История-лекция о том, как снимается современное кино с большими бюджетами

Maxim
Что такое биполярное аффективное расстройство и как живут люди с таким диагнозом Что такое биполярное аффективное расстройство и как живут люди с таким диагнозом

Что такое БАР, действительно ли он распространен или стал искусственным трендом?

Forbes
Растения привлекли млекопитающих плодами с повышенной концентрацией спирта Растения привлекли млекопитающих плодами с повышенной концентрацией спирта

Зачем растения концентрируют спирт в своих плодах?

N+1
Солнечный друг Солнечный друг

Почему ты плохо загораешь: 5 серьезных ошибок отпускницы

Лиза
Такой же разведчик, как мы Такой же разведчик, как мы

Как «Семнадцать мгновений весны» стали киноманифестом идеологии 1970‑х

Weekend
«Уход мужа заново открыл для меня мир свиданий и подарил ощущение легкости жизни»: история развода после 50 «Уход мужа заново открыл для меня мир свиданий и подарил ощущение легкости жизни»: история развода после 50

Развод, которого она боялась, многое в ее жизни неожиданно изменил к лучшему

Psychologies
Очная ставка Очная ставка

Чего нам ждать от возрождения «Оки»

Автопилот
Зачем нас заставляют доставать ноутбуки на досмотре в аэропорту? Зачем нас заставляют доставать ноутбуки на досмотре в аэропорту?

Какую опасность могут представлять ноутбуки в аэропорту?

ТехИнсайдер
Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака

Трагическая история жизни Шинейд О'Коннор

VOICE
«Отсюда выхода нет»: кто делает из наркоблогеров рок-звезд и почему людям интересно смотреть, как другие умирают? «Отсюда выхода нет»: кто делает из наркоблогеров рок-звезд и почему людям интересно смотреть, как другие умирают?

Кто такие наркоблогеры и насколько опасен их контент?

Psychologies
Русские кошки: породы, выведенные в России и СССР Русские кошки: породы, выведенные в России и СССР

Аборигенные породы, которые вывели российские фелинологи

Maxim
Космический телескоп Евклид будет искать темную материю Космический телескоп Евклид будет искать темную материю

Миссия Европейского космического агентства Евклид снимет миллиарды галактик

ТехИнсайдер
От укачивания в транспорте можно использовать специальные очки! Вот как они работают От укачивания в транспорте можно использовать специальные очки! Вот как они работают

Необычный способ, который спасет ваш будущий отпуск

ТехИнсайдер
Все дело в генах Все дело в генах

Про ген худобы, шизофрению по наследству и другое поговорили с экспертом

Лиза
Мот: «В мире нет ничего идеального» Мот: «В мире нет ничего идеального»

Певец Мот — о превратности семейной жизни и большой литературе

VOICE
Жить на полную мощность: 4 источника энергии Жить на полную мощность: 4 источника энергии

Задумывались ли вы когда-нибудь, сколько жизни в вашей жизни?

Psychologies
«Не думайте о бывших»: «эффект белого медведя» — как действительно забыть о завершившихся отношениях «Не думайте о бывших»: «эффект белого медведя» — как действительно забыть о завершившихся отношениях

Пытаясь подавлять мысли, мы оказываемся во власти «эффекта белого медведя»

Psychologies
Лунная диета. Прощайте, лишние килограммы Лунная диета. Прощайте, лишние килограммы

Луна управляет не только приливами и отливами в морях и океанах

Лиза
«Ты сама этого хотела!»: как проекции отравляют отношения «Ты сама этого хотела!»: как проекции отравляют отношения

Привычка приписывать другому свои мысли может помешать нам быть счастливыми

Psychologies
Время красностопа. Винодел Франк Дюсенер — о будущем российского вина Время красностопа. Винодел Франк Дюсенер — о будущем российского вина

Винодел Франк Дюсенер — как изменились российские вина

СНОБ
Миллионы секретных email американских военных по ошибке были отправлены... в Мали Миллионы секретных email американских военных по ошибке были отправлены... в Мали

Как опечатка в имени домена может навредить вооруженным силам США?

ТехИнсайдер
Свобода лучше, чем несвобода Свобода лучше, чем несвобода

Анджела Дэвис почти полвека остаётся иконой борьбы с несправедливостью

Дилетант
Политика и бокс: семь фильмов о женской карьере в «мужских» профессиях Политика и бокс: семь фильмов о женской карьере в «мужских» профессиях

Фильмы о женщинах в политике, силовых видах спорта, армии, на шахте и в такси

Forbes
Жил-был Пеп Жил-был Пеп

Как Пеп Гвардиола изменяет футбол

Men Today
Вымершие карликовые бегемоты указали на молодость травянистых равнин Мадагаскара Вымершие карликовые бегемоты указали на молодость травянистых равнин Мадагаскара

Ученые выяснили, что вымершие карликовые бегемоты жили в лесах

N+1
Американские студенты одинаково сдали экзамены очно и онлайн Американские студенты одинаково сдали экзамены очно и онлайн

Возможность списать во время онлайн-экзамена не принесла особой выгоды

N+1
ИИ узнает голоса речных дельфинов и помогает их спасению ИИ узнает голоса речных дельфинов и помогает их спасению

Нейронную сеть обучили распознаванию уникальных щелчков и свистов животных

ТехИнсайдер
Открыть в приложении