Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Семь навыков высокоэффективных людей Семь навыков высокоэффективных людей

Мощные инструменты развития личности

kiozk originals
Корабль, рожденный в «цифре» Корабль, рожденный в «цифре»

Модель имперского звездного разрушителя из кубиков LEGO весит почти 20 кг

Популярная механика
Актер 2020 года: Юра Борисов Актер 2020 года: Юра Борисов

Победные дубли Юры Борисова открыли ему путь в лигу киночемпионов

GQ
Голоса. Как учат разговаривать голосовые помощники Голоса. Как учат разговаривать голосовые помощники

Как из машины делают личность

Популярная механика
Юозас Будрайтис. Одинокий ковбой Юозас Будрайтис. Одинокий ковбой

«Тебя можно обвинить в бродяжничестве», — говорили мне в советские времена

Караван историй
Абрау-Дюрсо: путешествие со вкусом игристого Абрау-Дюрсо: путешествие со вкусом игристого

Путешествие в столицу российского шампанского – Абрау-Дюрсо!

Домашний Очаг
Екатерина Климова: «Вполне возможно второй раз войти в одну и ту же реку» Екатерина Климова: «Вполне возможно второй раз войти в одну и ту же реку»

Екатерина Климова: «Все в жизни возможно, было бы желание...»

Караван историй
Про мэтчи и баны: топ-7 болезненных вопросов об онлайн-знакомствах главе «Мамбы» Про мэтчи и баны: топ-7 болезненных вопросов об онлайн-знакомствах главе «Мамбы»

Разбираем все причины, по которым мы ненавидим сайты и приложения для знакомств

Playboy
Мода мужского рода Мода мужского рода

Зинаида Пронченко о монстрах, которые прячутся в шкафах российских мужчин

GQ
Сколько лет Вселенной — все версии Сколько лет Вселенной — все версии

Люди с древних времен интересовались возрастом Вселенной и, наконец, нашли ответ

Популярная механика
Дождь не помеха: 6 веселых игр для детей осенью Дождь не помеха: 6 веселых игр для детей осенью

Осадки — не повод прекращать веселиться, и наши дети знают это лучше всех

Seasons of life
Дважды в Голливуде Дважды в Голливуде

«Афера по-голливудски» — ремейк культовой комедии 1980-х

Weekend
В воде обнаружили перекись водорода. Никто не понимает, откуда она берётся В воде обнаружили перекись водорода. Никто не понимает, откуда она берётся

Учёные обнаружили — в каплях воды при конденсации образуется перекись водорода

Популярная механика
Технология блокчейн Технология блокчейн

То, что движет финансовой революцией сегодня

kiozk originals
«В стране террор, люди боятся ехать в офис»: зачем белорусские IT-предприниматели перевозят сотрудников в другие страны и сколько это стоит «В стране террор, люди боятся ехать в офис»: зачем белорусские IT-предприниматели перевозят сотрудников в другие страны и сколько это стоит

Белорусские IT-компании, которые решились на переезд за рубеж

Forbes
История Ксении Бородиной и Курбана Омарова: от измен и ссор до семейной идиллии История Ксении Бородиной и Курбана Омарова: от измен и ссор до семейной идиллии

Мы решили вспомнить историю отношений Ксении Бородиной и Курбана Омарова

Cosmopolitan
10 самых странных фирм в мире 10 самых странных фирм в мире

Самые странные способы зарабатывать деньги

Maxim
Перевал Дятлова против сошедшей с ума Николь Кидман Перевал Дятлова против сошедшей с ума Николь Кидман

Битва сериалов: «Перевал Дятлова» против «Отыграть назад»

СНОБ
Канистра всех времен и народов — изобретение вермахта, благодаря которому союзники выиграли войну Канистра всех времен и народов — изобретение вермахта, благодаря которому союзники выиграли войну

На фронте мелочей не бывает

Maxim
Стекло, которое замедляет свет Стекло, которое замедляет свет

Как физикам удалось замедлить свет?

Популярная механика
Одежда из 90-х которая была модной, потом стала стыдной, а теперь опять стала модной Одежда из 90-х которая была модной, потом стала стыдной, а теперь опять стала модной

Что бы там ни говорили о том, что 90-е прошли.

Maxim
Правила современного этикета: что нужно знать о них женщинам? Правила современного этикета: что нужно знать о них женщинам?

Как изменился этикет для женщин

Psychologies
Рыцарский орден госпитальеров свел леса вокруг польской деревни в позднем Средневековье Рыцарский орден госпитальеров свел леса вокруг польской деревни в позднем Средневековье

На это понадобилось всего пару сотен лет

N+1
Лига чемпионов асов Второй мировой — кто сбивал больше всех Лига чемпионов асов Второй мировой — кто сбивал больше всех

Главные бомбардиры своих стран

Maxim
Боты против уток. Сможет ли искусственный интеллект избавить соцсети от Fake News Боты против уток. Сможет ли искусственный интеллект избавить соцсети от Fake News

Мы считаем, что интернет создан ради нас, но на деле его пользователи — боты

РБК
Портрет писателя с котиком Портрет писателя с котиком

Домашние животные, помогавшие писателям писать

Weekend
Концентрация витамина D во время беременности повлияла на интеллект детей Концентрация витамина D во время беременности повлияла на интеллект детей

Увеличение концентрации витамина D на приводит к росту оценки интеллекта

N+1
Обратный отсчет Обратный отсчет

Выглядеть молодо по силам каждой!

Лиза
Первая после 16 лет молчания книга Сюзанны Кларк «Пиранези». Публикуем первые главы Первая после 16 лет молчания книга Сюзанны Кларк «Пиранези». Публикуем первые главы

Отрывок из фантастического романа Сюзанны Кларк «Пиранези»

СНОБ
8 типичных ошибок при выборе белья, которые ты хоть раз совершала 8 типичных ошибок при выборе белья, которые ты хоть раз совершала

Нижнее белье нужно подбирать с умом

Cosmopolitan
Открыть в приложении