Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Самое голодное место в мире: что происходит в секторе Газа и можно ли это исправить Самое голодное место в мире: что происходит в секторе Газа и можно ли это исправить

Рассказываем, что происходит в Газе с продовольствием и что к этому привело

Forbes
Что где есть в Ленобласти Что где есть в Ленобласти

Где жить в настоящей дореволюционной даче с видом на Финский залив?

Собака.ru
Режиссер Алексей Мартынов — о смысле существования Мастерской Брусникина Режиссер Алексей Мартынов — о смысле существования Мастерской Брусникина

Режиссер Алексей Мартынов — о необходимости в какой-то момент опираться на себя

РБК
Орангутаны-мигранты позаимствовали пищевые привычки у местных Орангутаны-мигранты позаимствовали пищевые привычки у местных

У кого именно и как долго орангутаны-мигранты учатся есть новую для них пищу

N+1
Пища для лайков: что такое перформативное питание и как еда транслирует наши ценности Пища для лайков: что такое перформативное питание и как еда транслирует наши ценности

Чем мы рискуем, подчиняя наш рацион заботе об имидже?

Forbes
Без кольца и края Без кольца и края

Что делать, если вы прошли вместе через многое, а до загса никак не дойдете

VOICE
«Для меня это был шок»: Кирилла Андреева после трепанации черепа ужаснули слухи о его состоянии «Для меня это был шок»: Кирилла Андреева после трепанации черепа ужаснули слухи о его состоянии

Кирилл Андреев рассказал, как попал в реанимацию после драки

VOICE
Природные антидепрессанты: 9 продуктов, которые лучше всего поднимают настроение Природные антидепрессанты: 9 продуктов, которые лучше всего поднимают настроение

Эти продукты помогают бороться с плохим настроеним

ТехИнсайдер
Едем в Марий Эл Едем в Марий Эл

Ради чего стоит отправиться в Марий Эл?

Лиза
Звезда родилась: лучшие байопики о музыкантах Звезда родилась: лучшие байопики о музыкантах

Музыкальные байопики, на которые стоит потратить время

Правила жизни
Свежевыжатый сок и протеиновые батончики: 10 продуктов, которые только кажутся полезными Свежевыжатый сок и протеиновые батончики: 10 продуктов, которые только кажутся полезными

Пища, которая только притворяется полезной

Psychologies
Мнение экспертов: как общение с ИИ изменит людей. Стоит узнать! Мнение экспертов: как общение с ИИ изменит людей. Стоит узнать!

Роботы подпитывают нездоровые привычки в коммуникации среди людей

ТехИнсайдер
Тень отца: как твой папа влияет на твои отношения с мужчинами - 6 типичных сценариев Тень отца: как твой папа влияет на твои отношения с мужчинами - 6 типичных сценариев

Почему в романтических отношениях мы часто ищем отражение своего папы?

VOICE
80 процентов детских смертей в Африке и Южной Азии оказались предотвратимы 80 процентов детских смертей в Африке и Южной Азии оказались предотвратимы

82,3% смертей детей в Африке и Южной Азии эксперты признали предотвратимыми

N+1
Все мы театр Все мы театр

Что происходит с театром сегодня? Рассказывают актеры

Men Today
7 секретов красивой груди 7 секретов красивой груди

Как сохранить грудь упругой и подтянутой, независимо от формы и размера?

Здоровье
Как уговорить ребенка есть и что делать, если подростку не нравится его тело Как уговорить ребенка есть и что делать, если подростку не нравится его тело

Что делать с детьми, которые «ничего не едят»?

СНОБ
Необычные СИЗО и их обитатели: «Кремлевский централ». Отрывок из книги «Кому на Руси сидеть хорошо?» Необычные СИЗО и их обитатели: «Кремлевский централ». Отрывок из книги «Кому на Руси сидеть хорошо?»

Отрывок из главы книги «Кремлевский централ» о необычных СИЗО

Правила жизни
Игра в детективов: сколько в России зарабатывают на интересе к убийствам и маньякам Игра в детективов: сколько в России зарабатывают на интересе к убийствам и маньякам

Как авторы подкастов о маньяках зарабатывают миллионы?

Forbes
Стесняюсь спросить: опасно ли есть сырую рыбу Стесняюсь спросить: опасно ли есть сырую рыбу

Опасно ли есть сырую рыбу, где это лучше делать и как снизить риск отравления?

Правила жизни
Рабочей копии гена оказалось недостаточно для устранения врожденной цветовой слепоты Рабочей копии гена оказалось недостаточно для устранения врожденной цветовой слепоты

Рабочая копия гена CNGA3 не восстанавливает цветовое зрение

N+1
Солнечный друг Солнечный друг

Почему ты плохо загораешь: 5 серьезных ошибок отпускницы

Лиза
5 главных книг о Владимире Набокове, которые помогут лучше его понять 5 главных книг о Владимире Набокове, которые помогут лучше его понять

Пять главных книг, которые можно прочитать о Набокове

Правила жизни
К китам и оленям: как в России растет спрос на приключенческий туризм К китам и оленям: как в России растет спрос на приключенческий туризм

Приключенческий туризм, который раньше был незаметен, выходит в массовый сегмент

Forbes
Индийская принцесса-суфражистка: как София Далип Сингх добивалась избирательных прав Индийская принцесса-суфражистка: как София Далип Сингх добивалась избирательных прав

Как дочь индийского махараджи билась за избирательное право

Forbes
«Ребенок захлебывался и кашлял»: что такое акушерское насилие и почему оно происходит. Часть 3. Уход за новорожденным «Ребенок захлебывался и кашлял»: что такое акушерское насилие и почему оно происходит. Часть 3. Уход за новорожденным

С чем сталкиваются женщины и их новорожденные дети в роддомах?

Psychologies
Древние люди из Леванта добыли несколько тонн кремня для рубил примерно в 20 километрах от стоянки Древние люди из Леванта добыли несколько тонн кремня для рубил примерно в 20 километрах от стоянки

Исследователи выяснили, где брали сырье обитатели двух ашельских стоянок

N+1
Рак щитовидной железы: как не допустить развития болезни — 6 главных правил Рак щитовидной железы: как не допустить развития болезни — 6 главных правил

Как выявить «тихий рак» щитовидной железы на ранней стадии болезни?

Psychologies
Астрономы используют дипфейки, созданные ИИ, для исследования солнечной атмосферы Астрономы используют дипфейки, созданные ИИ, для исследования солнечной атмосферы

Как созданные ИИ изображения помогают исследовать корональный солнечный дождь

ТехИнсайдер
Инфернальный кролик, путешествия во времени и предсказания будущего: как  «Донни Дарко» стал культовым Инфернальный кролик, путешествия во времени и предсказания будущего: как  «Донни Дарко» стал культовым

«Донни Дарко»: как Ричарду Келли удалось осуществить свою безумную идею?

Правила жизни
Открыть в приложении