Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Верховный алгоритм Верховный алгоритм

Как машинное обучение изменит наш мир

kiozk originals
Что такое профайлинг и как он помог найти ангарского маньяка Что такое профайлинг и как он помог найти ангарского маньяка

Глава из книги Саши Сулим «Безлюдное место: Как ловят маньяков в России»

СНОБ
7 фактов о первом «Чужом» плюс полная хронология вселенной Чужих 7 фактов о первом «Чужом» плюс полная хронология вселенной Чужих

Ридли Скотт — человек, который в себе тайком провез с небес Чужого людям

Maxim
«Я все контролирую»: зачем нам это нужно? «Я все контролирую»: зачем нам это нужно?

Пытаясь держать все под контролем, мы чувствуем истощение и усталость

Psychologies
Почему смеяться над властью снова становится страшно Почему смеяться над властью снова становится страшно

Каждый десятый россиянин, как выясняется, не решается шутить о политике в сети

СНОБ
Ева без рая Ева без рая

Ева Грин встретилась на руинах старой Европы с Алексеем Тархановым

Tatler
Стресс и выгорание: почему так важно понимать разницу Стресс и выгорание: почему так важно понимать разницу

Представьте себе ситуацию: работы все больше, вы чувствуете себя на нуле...

Psychologies
Сколько состояний материи вы сможете назвать: мир вокруг нас Сколько состояний материи вы сможете назвать: мир вокруг нас

Все мы знаем о том, что есть три агрегатных состояния вещества

Популярная механика
4 причины конфликтов в отношениях 4 причины конфликтов в отношениях

Умение решать конфликты — залог крепких отношений

Psychologies
Шкурный интерес Шкурный интерес

Как правильно выбрать ковер

Добрые советы
Максим Федоров: искусственный интеллект в десяти вопросах и ответах Максим Федоров: искусственный интеллект в десяти вопросах и ответах

Профессор Сколтеха — об искусственном интеллекте и реальности сюжетов фантастики

РБК
«Счастье — когда тебя понимают»: так ли это? «Счастье — когда тебя понимают»: так ли это?

Что же такое счастье с научной точки зрения?

Psychologies
Еще 7 брендов General Motors, которых больше не существует Еще 7 брендов General Motors, которых больше не существует

Вспоминаем, какими марками владела GM раньше: часть 2

Популярная механика
Откуда у Земли берутся мини-луны и что нам о них известно: новые факты Откуда у Земли берутся мини-луны и что нам о них известно: новые факты

«Космические скитальцы» — что это такое?

Популярная механика
«Волге» — 64 года. Раскрываем все секреты культовой модели «Волге» — 64 года. Раскрываем все секреты культовой модели

Китайский двойник, особая версия для спецслужб и другие тайны Волги

РБК
Мало, мало, мало огня Мало, мало, мало огня

Год, когда непостижимость божественного замысла включилась на максимум

Tatler

Рассказываем о знаменитостях, чей внешний вид вызывал беспокойство поклонников

Cosmopolitan
Шервуд Андерсон Шервуд Андерсон

Американский писатель Шервуд Андерсон глазами Дмитрия Быкова

Дилетант
Мрачные тени: как избавиться от тяжелых воспоминаний о прошлом Мрачные тени: как избавиться от тяжелых воспоминаний о прошлом

Что делать, если прошлое мешает тебе жить

Cosmopolitan
Поддержка бизнеса: Анастасия Татулова Поддержка бизнеса: Анастасия Татулова

Анастасия Татулова — омбудсмен в сфере малого и среднего бизнеса в РФ

Glamour
Корабль, рожденный в «цифре» Корабль, рожденный в «цифре»

Модель имперского звездного разрушителя из кубиков LEGO весит почти 20 кг

Популярная механика
«Почему я плету индейские мандалы» «Почему я плету индейские мандалы»

Это древнее рукоделие помогло нашей героине пережить большое горе

Psychologies
Жить дольше, болеть — меньше: российский стартап Otri с инвестициями «Азбуки Вкуса» хочет изменить подход к здоровью Жить дольше, болеть — меньше: российский стартап Otri с инвестициями «Азбуки Вкуса» хочет изменить подход к здоровью

Интервью с главой Otri Иваном Дегтярем о проблемах современной медицины

VC.RU
Системный подход Системный подход

Как правильно поддержать иммунитет в сезон простуд и вирусов

Grazia
Как вспышка на солнце «объяснила» происхождение заброшенной крепости Как вспышка на солнце «объяснила» происхождение заброшенной крепости

Дендрохронология помогла установить дату строительства древней крепости

Наука и жизнь
Здоровья и счастья Здоровья и счастья

Сильверио Мариан — итальянец, который живёт и работает в России и для России

SALON-Interior
История одного необычного мальчика История одного необычного мальчика

Даже если ребенку поставил диагноз психиатр, это не окончательный приговор

СНОБ
Борис Галкин: «Гибкая электроника не только даст импульс к появлению новых применений, но и потеснит традиционную электронику на существующих рынках» Борис Галкин: «Гибкая электроника не только даст импульс к появлению новых применений, но и потеснит традиционную электронику на существующих рынках»

Как развивается рынок гибкой электроники и почему у России отличные перспективы

Inc.
Как стать известным и заработать на этом: 7 главных правил будущей звезды Как стать известным и заработать на этом: 7 главных правил будущей звезды

Недостаточно просто хайпануть, надо еще правильно этим воспользоваться

Playboy
«Большая маленькая ложь»: выдающаяся история о проблемах среднего класса и женской доле «Большая маленькая ложь»: выдающаяся история о проблемах среднего класса и женской доле

И выдающаяся актерская игра Риз Уизерспун и Николь Кидман

Esquire
Открыть в приложении