Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Сменила балет на «Игрушки»: как Агния Барто стала одной из главных детских поэтесс Сменила балет на «Игрушки»: как Агния Барто стала одной из главных детских поэтесс

История Агнии Барто, одной из главных детских поэтесс в России

Forbes
Разум Елены: фантастический роман о нейросети, которая помогает познать Вселенную Разум Елены: фантастический роман о нейросети, которая помогает познать Вселенную

Отрывок из фантастического романа Аллы Горбуновой «Ваша жестянка сломалась»

Forbes
Конкурс страшных рассказов: «Он будет только смотреть», София Баюн Конкурс страшных рассказов: «Он будет только смотреть», София Баюн

Рассказ о девушке, сбежавшей от насилия, и мистическом проклятии прошлого

VOICE
7 причин, почему мы так любим триллеры 7 причин, почему мы так любим триллеры

Пора признаться себе, что триллеры — это страх, как круто!

Maxim
Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось

Почему зумерам и миллениалами так сложно взаимодействовать друг с другом?

Правила жизни
Как бизнесмены и миллионеры открывают музеи на Урале Как бизнесмены и миллионеры открывают музеи на Урале

Почему уральские бизнесмены открывают музеи и что привлекает в них публику?

Forbes
Фрагмент из нового романа каталанского писателя Жауме Кабре «И нас пожирает пламя» Фрагмент из нового романа каталанского писателя Жауме Кабре «И нас пожирает пламя»

Жауме Кабре написал интеллектуальный роман

СНОБ
Экспрессию генов включили током от батарейки Экспрессию генов включили током от батарейки

Для создания электрогенетического интерфейса использовали человеческие белки

N+1
Капля жизни Капля жизни

Красивая этикетка не гарантируют качества воды. А что гарантирует?

Лиза
«Мы отважны, когда признаемся в своих чувствах»: как изменились любовь и секс — интервью социолога «Мы отважны, когда признаемся в своих чувствах»: как изменились любовь и секс — интервью социолога

Нужно ли избегать любовного конформизма?

Psychologies
Радость моя, твоя, наша Радость моя, твоя, наша

Поговорка «Кому – арбуз, а кому – свиной хрящик» не лишена смысла

Лиза
Немецкие палеонтологи описали отлично сохранившуюся черепаху из юрского периода Немецкие палеонтологи описали отлично сохранившуюся черепаху из юрского периода

Эта черепаха жила в мелководном море на территории современной Баварии

N+1
Откуда произошло слово Откуда произошло слово

Погружение в этимологию порой бывает очень увлекательным путешествием

ТехИнсайдер
Как жить легче: учимся у французских скульпторов и психоаналитиков Как жить легче: учимся у французских скульпторов и психоаналитиков

Отрывок из книги «Французское искусство жить не напрягаясь»

Psychologies
Гордые невесты и «мужественные» жены: какими были женщины эпохи викингов Гордые невесты и «мужественные» жены: какими были женщины эпохи викингов

Рассказываем о жизни, быте и положении в обществе женщин эпохи викингов

Forbes
Только для женщин. В чем причина болезненных месячных Только для женщин. В чем причина болезненных месячных

Дискомфорт во время месячных испытывают многие женщины, но иногда бывает и хуже

Лиза
Тибетские выдры пристрастились к выпускаемой буддистами рыбе Тибетские выдры пристрастились к выпускаемой буддистами рыбе

Тибетские выдры явно предпочитают охотиться на чужеродные виды рыб

N+1
Ландшафты утренней звезды Ландшафты утренней звезды

Как же на самом деле выглядит Венера?

Наука и жизнь
10 вопросов, которые мужья не должны задавать своим женам 10 вопросов, которые мужья не должны задавать своим женам

Те самые случаи, когда лучше молчать, чем говорить

Maxim
Куда двигаться Куда двигаться

Какие именно танцы подойдут тебе?

VOICE
Как мозг воспринимает и хранит слова, которые мы слышим. Новое исследование Как мозг воспринимает и хранит слова, которые мы слышим. Новое исследование

Слуховой лексикон мозга расположен в передней части первичной слуховой коры

ТехИнсайдер
Незваные гости Незваные гости

Инвазивные виды могут установить свои порядки, перевернув все с ног на голову

Наука и жизнь
«Парадокс о мандарине»: как безнаказанность влияет на наше поведение «Парадокс о мандарине»: как безнаказанность влияет на наше поведение

Действует ли мораль в условиях безнаказанности?

Forbes
Орден бегинок: как в Средневековой Европе появились независимые женские объединения Орден бегинок: как в Средневековой Европе появились независимые женские объединения

Что делать, если родилась в Европе Средних веков, но к замужеству душа не лежит?

Forbes
Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов

Можно ли управлять болью, гневом и другими разрушающими чувствами?

Psychologies
Как стать уверенной в себе, если твое детство прошло в неблагополучной семье? Как стать уверенной в себе, если твое детство прошло в неблагополучной семье?

Как справиться с неуверенностью в себе?

VOICE
Под Томском нашли бронзовую модель лука и булаву из рога раннего железного века Под Томском нашли бронзовую модель лука и булаву из рога раннего железного века

Результаты раскопок могильника шеломокской культуры

N+1
«Кормилец» и «хранительница очага»: чему будут учить детей на уроках «Семьеведения» «Кормилец» и «хранительница очага»: чему будут учить детей на уроках «Семьеведения»

Чему посвящены учебные программы по подготовке школьников к семейной жизни?

Forbes
Старт дан: что дальше? Старт дан: что дальше?

Для успешного развития проекты фермеров нуждаются в нефинансовой поддержке

Агроинвестор
Носики-курносики Носики-курносики

Порой иконографическое сравнение помогает «узнать» персонажа на картине

Дилетант
Открыть в приложении