Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Думай и богатей Думай и богатей

Золотые правила успеха

kiozk originals
За спиной отца: чем занимаются дочери первых лиц мира – Путина, Алиева и других За спиной отца: чем занимаются дочери первых лиц мира – Путина, Алиева и других

Чем занимаются наследницы политических лидеров?

Cosmopolitan
А не мудак ли я? Мужчина отвечает на претензии XXI века к мужчинам А не мудак ли я? Мужчина отвечает на претензии XXI века к мужчинам

Кто он такой вообще — этот мудак — и как принять, что мудаком можете быть и вы

Esquire
Мода мужского рода Мода мужского рода

Зинаида Пронченко о монстрах, которые прячутся в шкафах российских мужчин

GQ
«Мама, папа и собака»: питомец как член семьи «Мама, папа и собака»: питомец как член семьи

Какую роль питомцы играют в вашем доме?

Psychologies
Звезды, потерявшие детей: Ирина Безрукова, Джон Траволта и другие Звезды, потерявшие детей: Ирина Безрукова, Джон Траволта и другие

10 трагических историй о звездах, которые пережили своих детей

Cosmopolitan
«Сама виновата». Как оренбургского следователя наказали за неэтичное поведение с жертвой насилия «Сама виновата». Как оренбургского следователя наказали за неэтичное поведение с жертвой насилия

Почему мы так критично реагируем на случаи насилия?

СНОБ
«Бурда Моден – это я» «Бурда Моден – это я»

Как Энне Бурда смогла стать издателем крупнейшего в мире журнала мод

Лиза
В онлайне с головой: как изоляция образования стала угрозой и возможностью одновременно В онлайне с головой: как изоляция образования стала угрозой и возможностью одновременно

Какие шансы и возможности открылись для студентов в эру онлайн-образования?

Forbes
Феминитивы и культ языковой вертикали Феминитивы и культ языковой вертикали

Как не стыдиться феминитивов, откуда они берутся и как с ними уживаться

СНОБ
7 картин, приносивших несчастья своим владельцам 7 картин, приносивших несчастья своим владельцам

Обладание этими шедеврами смертельно опасно

Maxim
Камуфляжные листья защитили рябчики от сбора на нужды китайской медицины Камуфляжные листья защитили рябчики от сбора на нужды китайской медицины

Интенсивный сбор людьми заставил растения приобрести серовато-бурые листья

N+1
Самые классные фильмы о Германии Самые классные фильмы о Германии

От историй о современном Берлине до картин об ужасах гитлеровского режима.

GQ
7 привычек, которые делают тебя непривлекательным в глазах женщин 7 привычек, которые делают тебя непривлекательным в глазах женщин

Привычки, которых нужно избегать, чтобы быть привлекательным для женщин

Maxim
Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять

Разбираемся в природе газлайтинга и способах борьбы с ним

Cosmopolitan
Редкие животные, которых осталось меньше 100 особей Редкие животные, которых осталось меньше 100 особей

Уже сейчас эти виды находятся под угрозой исчезновения

Популярная механика
Твое дело — труба! Твое дело — труба!

Чистая вода для дома: выбираем эффективный и доступный фильтр

Лиза
Система вознаграждения среднего мозга не увидела разницы между голодом и социальной изоляцией Система вознаграждения среднего мозга не увидела разницы между голодом и социальной изоляцией

После голода и социальной изоляции активны одни нейроны в среднем мозге

N+1
Лучшие фильмы про британских королей и королев Лучшие фильмы про британских королей и королев

Что еще посмотреть, если вам мало сериала «Корона»

GQ
Чтобы мечты сбывались Чтобы мечты сбывались

Чтобы изменить жизнь, нужно правильно ставить цели и формулировать желания

Добрые советы
Энергетическая независимость: зачем России производить свои газовые турбины Энергетическая независимость: зачем России производить свои газовые турбины

Впервые в истории страны появится полностью своя газовая турбина

Inc.
Как написать идеальное био для дейтинг-приложения: 5 главных нюансов Как написать идеальное био для дейтинг-приложения: 5 главных нюансов

Готовая формула успеха в дейтинге

Playboy
Дежурный по стране. Памяти Михаила Жванецкого — великого советского сатирика Дежурный по стране. Памяти Михаила Жванецкого — великого советского сатирика

Михаил Жванецкий — великий комедийный артист

Esquire
8 ложных убеждений, которые мешают вашему психическому здоровью 8 ложных убеждений, которые мешают вашему психическому здоровью

Думая об этом, можно навредить самому себе

Psychologies
Зачем ресторанам нужна барная карта Зачем ресторанам нужна барная карта

Как хорошие коктейли могут вывести ресторан на совершенно другой уровень

GQ
Toyota Hilux от KDT. Тюнинг-концепт «Катран» Toyota Hilux от KDT. Тюнинг-концепт «Катран»

Подготовленным "Хайлаксом" сегодня никого не удивишь

4x4 Club
Скромный памятник Колумбу Скромный памятник Колумбу

Анна Толстова о судьбе Ильи Остроухова, оставшегося в тени

Weekend
Кислородная катастрофа: событие, запустившее эволюцию жизни на Земле Кислородная катастрофа: событие, запустившее эволюцию жизни на Земле

«Кислородная революция» изменила химический состав поверхности планеты

Популярная механика
Почему поднимать самооценку вредно? Объясняет психолог Почему поднимать самооценку вредно? Объясняет психолог

Психолог объясняет, как поддерживать себя и помогать себе, но не оценивать

Cosmopolitan
Поддержка бизнеса: Анастасия Татулова Поддержка бизнеса: Анастасия Татулова

Анастасия Татулова — омбудсмен в сфере малого и среднего бизнеса в РФ

Glamour
Открыть в приложении