Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Начало бесконечности Начало бесконечности

Объяснения, которые меняют мир

kiozk originals
Сто лет островной жизни уменьшили размеры африканских жаб Сто лет островной жизни уменьшили размеры африканских жаб

Африканские жабы Sclerophrys gutturalis заметно уменьшились в размерах

N+1
Истребитель, которого никто не боялся Истребитель, которого никто не боялся

История британского истребителя времен Второй мировой войны

Maxim
Генеральный директор Ленинской библиотеки — о чтении и привидениях Генеральный директор Ленинской библиотеки — о чтении и привидениях

Генеральный директор Ленинской библиотеки о приметах и вызовах времени

РБК
Любимые рецепты Лали Чочия. Маффины из тыквы Любимые рецепты Лали Чочия. Маффины из тыквы

Лали Чочия делится рецептом сытных и полезных тыквенных маффинов

Seasons of life
Вселенную лихорадит: температура космоса выросла в несколько раз и чем это может грозить Вселенную лихорадит: температура космоса выросла в несколько раз и чем это может грозить

За восемь миллиардов лет температура вещества во Вселенной выросла втрое

Forbes
Обратный отсчет Обратный отсчет

Выглядеть молодо по силам каждой!

Лиза
Эмбодимент-программа: как можно развивать телесный интеллект Эмбодимент-программа: как можно развивать телесный интеллект

Зачем (и о чем) думать, пробегая марафон или качая бицепсы?

GQ
Без побочных эффектов Без побочных эффектов

Почему антибиотики перестают помогать, как снизить их вред, чем запить таблетку?

Добрые советы
Как выиграть переговоры: 4 секрета от бывшего агента ФБР Как выиграть переговоры: 4 секрета от бывшего агента ФБР

Эти советы обязательно помогут тебе в жизни

Playboy
«Я подумаю об этом завтра» «Я подумаю об этом завтра»

Ирина Прохорова — об ответственности перед фамилией и желании стать волонтером

OK!
Татьяна Замировская: Новый фильтр Татьяна Замировская: Новый фильтр

Рассказ Татьяны Замировской — о ненависти и дегуманизации

СНОБ
Аборт и закон: могут ли нам запретить решать, когда быть матерью? Аборт и закон: могут ли нам запретить решать, когда быть матерью?

Как один закон может повлиять на судьбы многих женщин

Cosmopolitan
Как избежать ошибок с широкими брюками: модные правила от стилиста Как избежать ошибок с широкими брюками: модные правила от стилиста

Стилист объясняет, как носить брюки-палаццо

Cosmopolitan
Почему ребенок плачет Почему ребенок плачет

Плач новорожденного - это надежный сигнал любого неблагополучия

9 месяцев
Мужчина и его собаки: Джо Байден и его немецкие овчарки Чемп и Мейджор Мужчина и его собаки: Джо Байден и его немецкие овчарки Чемп и Мейджор

Если вам нужен друг в Вашингтоне, заведите собаку

Esquire
Засухи приведут к массовой замене древесных видов в лесах Земли Засухи приведут к массовой замене древесных видов в лесах Земли

Из-за засухи деревья в лесах будут заменяться засухоустойчивыми кустарниками

N+1
Сказки на ночь: 19 книг, которые помогут ребенку уснуть Сказки на ночь: 19 книг, которые помогут ребенку уснуть

Любимые книги, которые стоит читать перед сном

Seasons of life
Типично псковские дали Типично псковские дали

Едем на длинные выходные в Псковскую область

Seasons of life
Ты – моя собственность Ты – моя собственность

«Кто не ревнует, тот не любит»

Лиза
Специальная номинация «Настоящий герой сериалов 2020 года» от more.tv: Константин Богомолов Специальная номинация «Настоящий герой сериалов 2020 года» от more.tv: Константин Богомолов

Константин Богомолов в кадре, за кадром, на сцене и в реальной жизни

GQ
Все невротики — перфекционисты: так ли это на самом деле? Все невротики — перфекционисты: так ли это на самом деле?

Как понять, перфекционист вы или нет?

Psychologies
10 эффектных сцен, незаслуженно вырезанных из фильмов 10 эффектных сцен, незаслуженно вырезанных из фильмов

Важные сцены, которые были отправлены в корзину, хотя они помогают понять сюжет

РБК
Ядовитые косматые хомяки оказались моногамными Ядовитые косматые хомяки оказались моногамными

Зоологам впервые удалось понаблюдать за социальной жизнью этих грызунов

N+1
Как не поссориться на праздниках: 10 советов для всей семьи Как не поссориться на праздниках: 10 советов для всей семьи

Как провести праздничные дни без стресса

Домашний Очаг
Город без нагромождений Город без нагромождений

Новое оборудование для сотовых сетей не портит городских пейзажей

РБК
Святой Франциск: аскет, создавший богатейший орден Святой Франциск: аскет, создавший богатейший орден

Кем был Франциск Ассизский, католический святой?

Дилетант
Родом из детства Родом из детства

Для того, чтобы похудеть, достаточно разобраться со своими детскими отношениями?

Худеем правильно
Поимка «тихого убийцы» Поимка «тихого убийцы»

Нобелевская премия 2020 года присуждена за открытие вируса гепатита C

Наука и жизнь
Преемница Мураками: что нужно знать о японской писательнице Ёко Огаве и ее романе «Полиция памяти» — эссе переводчика и востоковеда Дмитрия Коваленина Преемница Мураками: что нужно знать о японской писательнице Ёко Огаве и ее романе «Полиция памяти» — эссе переводчика и востоковеда Дмитрия Коваленина

Переводчик Дмитрий Коваленин рассуждает о творчестве писательницы Ёко Огавы

Esquire
Открыть в приложении