Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Бархатный молоток»: как Эстер Петерсон боролась с зарплатным неравенством «Бархатный молоток»: как Эстер Петерсон боролась с зарплатным неравенством

Как Эстер Петерсон стала главной союзницей работающих американок

Forbes
«Есть у 90% людей»: 5 признаков того, что на работе вы в детской позиции «Есть у 90% людей»: 5 признаков того, что на работе вы в детской позиции

Как детская позиция мешает увеличить доход?

Psychologies
«Император Святой Руси» «Император Святой Руси»

Что в XV-XVIII веках означало слово «чин»?

N+1
Генерал Франко и его мятеж Генерал Франко и его мятеж

На марке Испанского Марокко всего лишь скромная надпечатка: 18 июля 1936 года

Дилетант
5 фактов из истории пива, которые вы скорее всего не знали 5 фактов из истории пива, которые вы скорее всего не знали

Что пили российские императоры и кто придумал пиво со вкусом борща?

Maxim
Под ториевой аномалией на обратной стороны Луны заподозрили крупный гранитный массив Под ториевой аномалией на обратной стороны Луны заподозрили крупный гранитный массив

В районе ториевой аномалии на Луне располагается крупный гранитный массив

N+1
«Арабская Симона де Бовуар»: как Наваль эль-Саадави боролась за права женщин в Египте «Арабская Симона де Бовуар»: как Наваль эль-Саадави боролась за права женщин в Египте

Наваль эль-Саадави пожертвовала карьерой врача ради борьбы за права женщин

Forbes
Спустя 500 дней в приюте пес обрел семью. Трогательная история Спустя 500 дней в приюте пес обрел семью. Трогательная история

История пса Чарли, которого прозвали "самым одиноким в Британии"

ТехИнсайдер
Princess Y95. Первая в серии Princess Y95. Первая в серии

Princess Y95 — моторная яхта будущего

Y Magazine
Гражданин хороший Гражданин хороший

Как в Китае контролируют население?

ТехИнсайдер
Как иранка создала сеть клиник по работе с аутизмом и продала ее за $600 млн Как иранка создала сеть клиник по работе с аутизмом и продала ее за $600 млн

Дорин Гранпишех построила из одного центра целую сеть клиник, изучающих аутизм

Forbes
Свиньи помогли сородичам выбраться из заточения Свиньи помогли сородичам выбраться из заточения

Почему свиньи помогают друг другу?

N+1
6 правил свидания с собой 6 правил свидания с собой

Как провести свидание с собой так, чтобы восполнить ресурс?

Psychologies
Откуда и когда начали свое распространение индоевропейские языки Откуда и когда начали свое распространение индоевропейские языки

Индоевропейские языки берут свое начало на Южном Кавказе 8000 лет назад

ТехИнсайдер
Не время паниковать: американский писатель о первой влюбленности и взрослении Не время паниковать: американский писатель о первой влюбленности и взрослении

Отрывок из детектива и романа о взрослении «Не время паниковать»

Forbes
Почему плакать полезно для здоровья: 5 веских причины пустить слезу прямо сейчас Почему плакать полезно для здоровья: 5 веских причины пустить слезу прямо сейчас

Плач может улучшить здоровье, причем как психическое, так и физическое

ТехИнсайдер
Одна инъекция белка Клото улучшила память макак Одна инъекция белка Клото улучшила память макак

Ученые из США ввели макакам-резус белок Клото

N+1
Не дай себе засохнуть Не дай себе засохнуть

4 неожиданных способа, избежать обезвоженности в жару

Лиза
Кому и зачем нужна эталонная сигарета и почему можно спокойно удалить шагомер Кому и зачем нужна эталонная сигарета и почему можно спокойно удалить шагомер

Книга Джеймса Винсента расскажет о многих интересных исторических аспектах

Forbes
Шаманы и шаманизм Шаманы и шаманизм

Почему шаманизм многих пугает и как он работает на самом деле?

Лиза
Психологический тест, который не мешало бы пройти каждому: узнайте, что вы за человек на самом деле Психологический тест, который не мешало бы пройти каждому: узнайте, что вы за человек на самом деле

Глаза могут много рассказать о ваших потаенных личных качествах

ТехИнсайдер
«Силой воли художника происходит мощная ежесекундная редактура реальности». Интервью Андрея Бартенева и Вовы Перкина «Силой воли художника происходит мощная ежесекундная редактура реальности». Интервью Андрея Бартенева и Вовы Перкина

Художники Вова Перкин и Андрей Бартенев — о социальной ответственности

СНОБ
Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту

Фисташковая скорлупа может пригодиться вам в доме и на даче!

ТехИнсайдер
Каменные глаза трилобитов: удивительная загадка доисторических времен Каменные глаза трилобитов: удивительная загадка доисторических времен

Природа применила безграничную фантазию, создавая системы зрения трилобитов

ТехИнсайдер
Как холдинг бывшего участника списка Forbes простил ему 26 млрд рублей долга Как холдинг бывшего участника списка Forbes простил ему 26 млрд рублей долга

Как выдавались займы и прощались долги в УСМК

Forbes

История бельгийского солдата, которого деньги спасли от смертельного ранения

ТехИнсайдер
Перекрестная иммунореактивность помогла при лечении меланомы Перекрестная иммунореактивность помогла при лечении меланомы

Рецептор, узнающий одновременно три разных опухолевых антигена

N+1
Пианист Дмитрий Шишкин — о Челябинске и экспериментах с электроникой Пианист Дмитрий Шишкин — о Челябинске и экспериментах с электроникой

О феномене челябинской академической сцены и отношении к конкурсам

РБК
Выбираем стиральную машину: на что смотреть, чтобы не потратить деньги зря Выбираем стиральную машину: на что смотреть, чтобы не потратить деньги зря

Не так просто выбрать лучшую стиральную машину по соотношению цены и качества

CHIP
Бриллиант не навсегда Бриллиант не навсегда

Индия рассчитывает вернуть алмаз «Кох-и-Нур», который украшает корону Британии

Robb Report
Открыть в приложении