Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Найти подругу на фитнесе: как женщины объединяются и социализируются благодаря спорту Найти подругу на фитнесе: как женщины объединяются и социализируются благодаря спорту

Как и почему вокруг занятий спортом формируются сообщества

Forbes
Почему бегать можно не всем? Узнайте о пользе и вреде бега Почему бегать можно не всем? Узнайте о пользе и вреде бега

Хотя преимущества активности очевидны, полезен ли бег для каждого человека?

ТехИнсайдер
«Я слишком ленив, чтобы измениться»: упражнение, которое поможет взять ответственность за свои чувства «Я слишком ленив, чтобы измениться»: упражнение, которое поможет взять ответственность за свои чувства

Как вы ощущаете свои эмоции — как хозяин или как гость?

Psychologies
Иван Фролухин. Frantsuza Bistrot, С.-Петербург Иван Фролухин. Frantsuza Bistrot, С.-Петербург

Шеф-повар из Duo Band запустил ренессанс французской кухни по всей России

Собака.ru
Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно

О словах, за которые вам не должно быть стыдно, пусть и звучат они забавно

ТехИнсайдер
Деньги не играют: все тренеры «ПСЖ», которых увольняли катарские владельцы Деньги не играют: все тренеры «ПСЖ», которых увольняли катарские владельцы

Тренеры, которым не удалось сохранить работу в самом щедром клубе мира «ПСЖ»

Forbes
Мнение экспертов: как общение с ИИ изменит людей. Стоит узнать! Мнение экспертов: как общение с ИИ изменит людей. Стоит узнать!

Роботы подпитывают нездоровые привычки в коммуникации среди людей

ТехИнсайдер
На службе силы зла: как хакеры используют ChatGPT На службе силы зла: как хакеры используют ChatGPT

Чего нам ждать от использования нейросетей хакерами

Forbes
Содержание формы: как устроены отношения экипировщиков с клубами и сборными Содержание формы: как устроены отношения экипировщиков с клубами и сборными

Как устроен бизнес экипировщиков и кто больше всех зарабатывает на футболках?

Forbes
Место на кухне: 10 лучших фильмов и сериалов про еду, рестораны и работу шеф-поваров Место на кухне: 10 лучших фильмов и сериалов про еду, рестораны и работу шеф-поваров

Фильмы и сериалы про высокую кухню, забегаловки и вспыльчивых шеф-поваров

Forbes
«Я чувствую себя зомби»: россиянки объяснили, почему материнство сложнее офисной работы — 15 причин «Я чувствую себя зомби»: россиянки объяснили, почему материнство сложнее офисной работы — 15 причин

Главные трудности, с которыми сталкиваются многие матери

Psychologies
Охота на уток Охота на уток

Как чёрная уточка стала новым символом успеха

Robb Report
Один день в Иркутске Один день в Иркутске

Всего один день в Иркутске можно увидеть множество интересного!

Лиза
Обратный эффект Обратный эффект

11 продуктов для тех, кто мечтает набрать вес, а не сбросить

Лиза
«Нет слова, чтобы назвать все, что я чувствовала»: Шэрон Стоун о травме свидетеля «Нет слова, чтобы назвать все, что я чувствовала»: Шэрон Стоун о травме свидетеля

Отрывок из автобиографии Шэрон Стоун «Красота жизни, прожитой дважды»

Forbes
Что такое глютен: мифы и правда Что такое глютен: мифы и правда

Что такое глютен и может ли он причинить вред?

РБК
Тихоокеанский берег Перу зеленеет, но это плохая новость Тихоокеанский берег Перу зеленеет, но это плохая новость

Исследования выявили масштабные изменения растительности в Андах в Перу и Чили

ТехИнсайдер
«Я – смерть, разрушитель миров»: грезы и смыслы Роберта Оппенгеймера «Я – смерть, разрушитель миров»: грезы и смыслы Роберта Оппенгеймера

Предлагаем вспомнить историю выдающегося физика и «отца атомной бомбы»

Правила жизни
Какая еда может поднять нам настроение и снизить уровень тревожности и депрессии Какая еда может поднять нам настроение и снизить уровень тревожности и депрессии

Пища способна помогать нам бороться и с депрессией, и со стрессом

ТехИнсайдер
Жены известных людей, о которых никто ничего не знает Жены известных людей, о которых никто ничего не знает

Многие знаменитости женаты на обычных людях, не имеющих отношения к шоу-бизнесу

Maxim
Секреты китайского автомира. Что полезно знать о машинах из Поднебесной Секреты китайского автомира. Что полезно знать о машинах из Поднебесной

Как Китай поставляет нам машины уже прямиком из будущего

СНОБ
6 глэмпингов в Подмосковье 6 глэмпингов в Подмосковье

Отдых на природе не обязательно предполагает сон в палатке и умывание в реке

СНОБ
Цирк не для детей и кинетическое искусство: что нужно знать о художнике Александре Колдере Цирк не для детей и кинетическое искусство: что нужно знать о художнике Александре Колдере

О крошечном цирке и проволочных портретах Александра Колдера

Правила жизни
Стыдные привычки, которые нам подарил СССР Стыдные привычки, которые нам подарил СССР

Если вам больше 40 лет, то перечисленные рефлексы вы уже в себе не переборете

Maxim
От «липкого пола» до «стеклянного потолка»: словарь женской карьеры От «липкого пола» до «стеклянного потолка»: словарь женской карьеры

Словарик гендерного неравенства на рынке труда

Forbes
Жизнь дала им второй шанс: реальные истории людей, которые чудом выжили в невероятных обстоятельствах Жизнь дала им второй шанс: реальные истории людей, которые чудом выжили в невероятных обстоятельствах

Случаи этих людей — настоящее чудо

ТехИнсайдер
Тест-драйв гибрида Chery Tiggo 8 Pro e+ Тест-драйв гибрида Chery Tiggo 8 Pro e+

Chery Tiggo 8 Pro e+ успешно освоил гибридную систему с тремя моторами

СНОБ
Восемь звезд, которые обожают возиться с грядками Восемь звезд, которые обожают возиться с грядками

Иметь собственный огород не только полезно для здоровья и кошелька, но и модно

РБК
Наследие пришельцев: почему испортился имидж продуктов с ГМО Наследие пришельцев: почему испортился имидж продуктов с ГМО

Отрывок из книги «Как ГМО спасают планету и почему люди этому мешают»

Forbes
Все в школу! Иностранный язык может снизить количество ложных воспоминаний Все в школу! Иностранный язык может снизить количество ложных воспоминаний

Что такое ложные воспоминания и как с ними помогают бороться иностранные языки?

ТехИнсайдер
Открыть в приложении