Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как первая женщина-министр в США Фрэнсис Перкинс изменила условия труда в Америке Как первая женщина-министр в США Фрэнсис Перкинс изменила условия труда в Америке

Как Фрэнсис Перкинс удалось стать первой женщиной-министром в Америке

Forbes
Что такое алкогольная депрессия и как распознать ее признаки Что такое алкогольная депрессия и как распознать ее признаки

Почему после обильного возлияния хочется умереть?

Maxim
Конкурс страшных рассказов: «Чуткая», Марина Бутусова Конкурс страшных рассказов: «Чуткая», Марина Бутусова

Рассказ о загадочных ночных превращениях мужа и странностях семейной жизни

VOICE
Подготовка к ЭКО: что надо знать каждой женщине об овариальном резерве Подготовка к ЭКО: что надо знать каждой женщине об овариальном резерве

Овариальный резерв: что это такое, как его можно оценить и почему он важен?

Psychologies
Эмоциональный интеллект Эмоциональный интеллект

Новое представление о том, что значит быть «умным»

kiozk originals
6 правил свидания с собой 6 правил свидания с собой

Как провести свидание с собой так, чтобы восполнить ресурс?

Psychologies
Что такое аксион: популярно о самой загадочной частице Что такое аксион: популярно о самой загадочной частице

Что такое аксионы и как устроены эти неуловимые "кубики" мироздания

ТехИнсайдер
Жизнь продолжается Жизнь продолжается

Ладно скроенная Lada

Автопилот
SSD или HDD: что лучше использовать для бэкапов и архивов? SSD или HDD: что лучше использовать для бэкапов и архивов?

Какой тип памяти лучше всего подходит для «консервации» своих данных?

CHIP
От инди-фильмов к главному блокбастеру года: история режиссера «Барби» Греты Гервиг От инди-фильмов к главному блокбастеру года: история режиссера «Барби» Греты Гервиг

Творческий путь режиссера Греты Гервиг, снимающей остроумное кино о женщинах

Forbes
«Барби» Греты Гервиг: почему кукле в розовом больше нет места в этом мире «Барби» Греты Гервиг: почему кукле в розовом больше нет места в этом мире

Как режиссеру удалось создать настоящий летний блокбастер

Forbes
Шерше ля фам Шерше ля фам

Женщины принимали очень активное участие во Французской революции

Дилетант
Эмпатия на экране. Почему героям фильмов хочется сопереживать Эмпатия на экране. Почему героям фильмов хочется сопереживать

Глава из книги «Сценарий сериала. Как написать историю, достойную Нетфликса»

СНОБ
Александр Светаков — Forbes: как тратить деньги и почему не стоит оставлять их детям Александр Светаков — Forbes: как тратить деньги и почему не стоит оставлять их детям

Александр Светаков рассказал о своем видении актуальных проблем филантропии

Forbes
Самая молодая последовательница Мэнсона выходит из тюрьмы: кто такая Лесли Ван Хутен Самая молодая последовательница Мэнсона выходит из тюрьмы: кто такая Лесли Ван Хутен

Рассказываем историю Ван Хутен, Мэнсона и коммуны «Семья»

Forbes
Как носить бижутерию, чтобы не выглядеть «дешево»: мнение стилиста Как носить бижутерию, чтобы не выглядеть «дешево»: мнение стилиста

Развенчиваем мифы: не только в ювелирных украшениях можно выглядеть дорого

VOICE
В океане живут бессмертные существа, которые могли видеть динозавров В океане живут бессмертные существа, которые могли видеть динозавров

«Бессмертная медуза» названа так потому, что теоретически она может жить вечно

ТехИнсайдер
Выдра в США терроризирует серферов и ворует их доски. Ее могут усыпить! Выдра в США терроризирует серферов и ворует их доски. Ее могут усыпить!

Морская выдра в США крадет доски у серферов

ТехИнсайдер
Жутко громко и запредельно опасно: как шум убивает нас Жутко громко и запредельно опасно: как шум убивает нас

Громкие звуки провоцируют появление хронической бессонницы у людей

ТехИнсайдер
Кто такой Генри Форд и как ему удалось построить автомобильную империю Кто такой Генри Форд и как ему удалось построить автомобильную империю

Человек, который стал не только символом автомобилизации, но и изменил мир

РБК
Неудобный разговор: как подготовиться и донести мысль — 4 правила Неудобный разговор: как подготовиться и донести мысль — 4 правила

Как не утратить взаимопонимание и доверие при обсуждении сложных вопросов

Psychologies
Аквамену тоже нужно на чём-то ездить. Обзор Nokian Hakka Blue 3 SUV Аквамену тоже нужно на чём-то ездить. Обзор Nokian Hakka Blue 3 SUV

Шины Nokian Hakka Blue 3 SUV способны пережить и всемирный потоп

4x4 Club
Пустые холсты, душевные раны и винил. Отрывок из романа «Все, что мы обрели» Элис Келлен Пустые холсты, душевные раны и винил. Отрывок из романа «Все, что мы обрели» Элис Келлен

Глава из книги «Все, что мы обрели»

СНОБ
«Главное — никого не разочаровать»: 5 ловушек мышления, которые мешают стать счастливыми «Главное — никого не разочаровать»: 5 ловушек мышления, которые мешают стать счастливыми

Почему мы саботируем свой путь к счастью?

Psychologies
Я все еще держусь. О чем пел сэр Элтон Джон Я все еще держусь. О чем пел сэр Элтон Джон

Разбираем главные песни Элтона Джона

СНОБ
Хвалить публично, дать высказаться и не осуждать: как сделать компанию инклюзивной Хвалить публично, дать высказаться и не осуждать: как сделать компанию инклюзивной

Как инклюзивность влияет на работу компании и помогают ей добиться успеха

Forbes
История гимнаста Виктора Чукарина, который прошел через 17 концлагерей, а после войны завоевал 7 олимпийских медалей История гимнаста Виктора Чукарина, который прошел через 17 концлагерей, а после войны завоевал 7 олимпийских медалей

Виктор Чукарин вернулся с войны, чтобы обнять маму и забрать олимпийское золото!

ТехИнсайдер
Ботаники переоткрыли пять потерянных видов растений из Перу и Эквадора Ботаники переоткрыли пять потерянных видов растений из Перу и Эквадора

Ботаники переоткрыли в Перу и Эквадоре пять тропических растений из рода Nasa

N+1
Охота на уток Охота на уток

Как чёрная уточка стала новым символом успеха

Robb Report
Тонкий вопрос: почему медики и ученые сомневаются в объективности индекса массы тела Тонкий вопрос: почему медики и ученые сомневаются в объективности индекса массы тела

Из рабочего инструмента оценки здоровья ИМТ превратился в орудие фэтшейминга

Forbes
Открыть в приложении