Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От Цезаря до эльфа Добби: что такое иллеизм и зачем говорить о себе в третьем лице От Цезаря до эльфа Добби: что такое иллеизм и зачем говорить о себе в третьем лице

Почему люди говорят о себе в третьем лице и как это помогает решать конфликты?

Forbes
Уроки русского: откуда взялось выражение Уроки русского: откуда взялось выражение

Почему не валялся именно конь?

ТехИнсайдер
«Дневник невидимки»: история необычной старшеклассницы с обычными проблемами «Дневник невидимки»: история необычной старшеклассницы с обычными проблемами

Отрывок из «Дневника невидимки» — романа о том, как оставаться собой

Forbes
Вытащить с того света, спасти от чумы и принять роды: к чему должен быть готов экипаж воздушного судна Вытащить с того света, спасти от чумы и принять роды: к чему должен быть готов экипаж воздушного судна

Как и чем могут помочь бортпроводники:

ТехИнсайдер
Почему мы тянем время, даже когда знаем, что надо уйти? О токсичных отношениях и ловушках сознания Почему мы тянем время, даже когда знаем, что надо уйти? О токсичных отношениях и ловушках сознания

Почему же так сложно выйти из замкнутого круга токсичных отношений?

VOICE
Брюсы Брюсы

Эти незаурядные иностранцы оставили заметный след в истории России

Дилетант
Развод и тапочки по почте Развод и тапочки по почте

Как правильно и без ссор разделить имущество после распада семьи

Лиза
Пазл Кристофера Нолана. Из чего состоит кино режиссера-визионера Пазл Кристофера Нолана. Из чего состоит кино режиссера-визионера

Как устроено кино Кристофера Нолана

СНОБ
Как выглядеть на пляже на все 100: советы по уходу за купальником, которые помогут надолго сохранить его внешний вид Как выглядеть на пляже на все 100: советы по уходу за купальником, которые помогут надолго сохранить его внешний вид

Как нужно ухаживать за купальным костюмом, чтобы не покупать новый каждое лето

ТехИнсайдер
ФНС разъяснила порядок автоматических списаний налогов с граждан ФНС разъяснила порядок автоматических списаний налогов с граждан

ФНС реализует новый механизм — «проактивный порядок уплаты налогов»

Forbes
Дети, быт и саморазвитие: для чего на самом деле (не) нужны отношения Дети, быт и саморазвитие: для чего на самом деле (не) нужны отношения

Ответьте прямо сейчас на вопрос: «Для чего мне нужны отношения?»

Psychologies
Настоящее и будущее мировой экономики. Прогноз Михаила Хазина | The Present and Future of the World Economy. Forecast вy Mikhail Khazin Настоящее и будущее мировой экономики. Прогноз Михаила Хазина | The Present and Future of the World Economy. Forecast вy Mikhail Khazin

Обзор ключевых тезисов книги «Воспоминания о будущем» Михаила Хазина

Позитивные изменения
Продлеваем жизнь маникюру: как определить свой тип ногтей и зачем это нужно Продлеваем жизнь маникюру: как определить свой тип ногтей и зачем это нужно

Лак не держится долго? Возможно, дело в ногтях

VOICE
Первый галактический источник быстрых радиовсплесков 13 дней побыл радиопульсаром Первый галактический источник быстрых радиовсплесков 13 дней побыл радиопульсаром

Ученые увидели, как галактический магнитар начал и перестал быть радиопульсаром

N+1
О желания до жалости: 5 компонентов любви — мнение философа О желания до жалости: 5 компонентов любви — мнение философа

Из чего состоит чувство любви?

Psychologies
Как вор Стефан Брайтвизер обокрал мировые музеи на $2 млрд и стал любимцем публики Как вор Стефан Брайтвизер обокрал мировые музеи на $2 млрд и стал любимцем публики

Как вор Стефан Братвизер стал героем книги журналиста Майкла Финкеля

Forbes
Залив терпения: как нескольких поколений одной семьи жили на Сахалине Залив терпения: как нескольких поколений одной семьи жили на Сахалине

Глава из дебютного романа Марии Нырковой «Залив терпения»

Forbes
Мамины гантели: как девушки качают железо и становятся звездами TikTok Мамины гантели: как девушки качают железо и становятся звездами TikTok

Что стоит за тренировками мускулистых женщин с миллионами подписчиков в соцсетях

Forbes
Дочь великой королевы: как Екатерина Арагонская правила Англией Дочь великой королевы: как Екатерина Арагонская правила Англией

Екатерина Арагонская была выиграла войну и правила страной наравне с мужем

Forbes
Маньяк держал в плену и жестоко насиловал россиянку в течение 14 лет: жертва смогла сбежать Маньяк держал в плену и жестоко насиловал россиянку в течение 14 лет: жертва смогла сбежать

Женщина сумела сбежать из дома мужчины, который держал ее взаперти с 2009 года

VOICE
Точечное попадание Точечное попадание

Чем опасен молчаливый инсульт?

Лиза
Закончилась память на телефоне? Есть способ освободить гигабайты места без удаления файлов! Закончилась память на телефоне? Есть способ освободить гигабайты места без удаления файлов!

Как же очистить место на смартфоне, не потеряв важные данные?

ТехИнсайдер
Капля жизни Капля жизни

Красивая этикетка не гарантируют качества воды. А что гарантирует?

Лиза
Механический метаматериал посчитал до десяти Механический метаматериал посчитал до десяти

Физики создали механический метаматериал с эффектом памяти

N+1
Всему свой сезон: в какое время года лучше искать работу Всему свой сезон: в какое время года лучше искать работу

Когда лучше всего искать работу?

ТехИнсайдер
Робот дышит и потеет. На нем ученые будут исследовать влияние жары на человека Робот дышит и потеет. На нем ученые будут исследовать влияние жары на человека

ANDI является полевой лабораторией, которая позволит оценить воздействие жары

ТехИнсайдер
Как улучшить успеваемость учащихся? Эксперты пришли к простому решению Как улучшить успеваемость учащихся? Эксперты пришли к простому решению

Сильное самосознание и целеустремленность могут повысить итоговые баллы учащихся

ТехИнсайдер
Что носить в жару: 5 базовых образов для действительно модных девушек Что носить в жару: 5 базовых образов для действительно модных девушек

Пять образов, чтобы ты могла менять их и каждый день выглядеть на все сто!

VOICE
Что такое аксион: популярно о самой загадочной частице Что такое аксион: популярно о самой загадочной частице

Что такое аксионы и как устроены эти неуловимые "кубики" мироздания

ТехИнсайдер
«Девушки здесь все такие милые»: литературный триллер про токсичную компанию подруг «Девушки здесь все такие милые»: литературный триллер про токсичную компанию подруг

Отрывок из романа «Девушки здесь все такие милые» — истории о соперничестве

Forbes
Открыть в приложении