«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходец в мире бодибилдинга и обладатель статуса «Мистер Вселенная»: история Микки Харгитея Первопроходец в мире бодибилдинга и обладатель статуса «Мистер Вселенная»: история Микки Харгитея

Как венгр Микки Харгитей бросил вызов американскому доминированию в бодибилдинге

ТехИнсайдер
«Ругаю сотрудников за переработки»: ИТ-менеджеры рассказали о своих стилях управления «Ругаю сотрудников за переработки»: ИТ-менеджеры рассказали о своих стилях управления

Как добиться того, чтобы люди хорошо работали сами, без избыточного контроля?

VC.RU
«Нет удержу!» Чем улыбнул первый тест-драйв «ушастого Запорожца», проведенный советским журналистом «Нет удержу!» Чем улыбнул первый тест-драйв «ушастого Запорожца», проведенный советским журналистом

«Ушастый Запорожец» — тесный, шумный, тихоходный или совсем иной?

ТехИнсайдер
Уйти нельзя остаться. Почему «Говорят женщины» — главный феминистический фильм года? Уйти нельзя остаться. Почему «Говорят женщины» — главный феминистический фильм года?

Фильм «Говорят женщины» — разбираемся в сюжете и особенностях съемки

Правила жизни
50 лет исследований показали: эти 4 ошибки разрушают брак 50 лет исследований показали: эти 4 ошибки разрушают брак

Четыре стратегии общения, которые могут привести к расставаниям и разводам

Inc.
Нам только спросить Нам только спросить

Все отношения разные, но вопросы, которые возникают в них, похожи

VOICE
Шизофрения: спастись от расщепления Шизофрения: спастись от расщепления

Согласно статистике, на планете 0,5% людей страдают шизофренией

ТехИнсайдер
Как принять страшный диагноз: советы психологов и личный опыт Как принять страшный диагноз: советы психологов и личный опыт

Как принять диагноз?

Psychologies
Нэпманы и воры: какими изображали предпринимателей в советском кино Нэпманы и воры: какими изображали предпринимателей в советском кино

Cамые характерные советские фильмы на экономическую тему

Forbes
«Спасибо смерти…» «Спасибо смерти…»

Какой была Эльза Триоле, младшая сестра Лили Брик?

Дилетант
Самые востребованные профессии в России в разные времена Самые востребованные профессии в России в разные времена

Кто был нужен обществу на заре становления государственности на Руси?

Maxim
Уютное гнездышко походника: история и современность спального мешка Уютное гнездышко походника: история и современность спального мешка

Привычный нам облик спальный мешок приобрел не сразу

Вокруг света
Как накачать руки без гирь, штанги и гантелей Как накачать руки без гирь, штанги и гантелей

6 упражнений для твоего тела, которые можно делать без тренажерного зала

Maxim
Топ-5 портативных игровых консолей: на чем играть в 2023 году? Топ-5 портативных игровых консолей: на чем играть в 2023 году?

Почему портативные консоли заслуживают вашего внимания

CHIP
Секс-монстра наказали: признавшийся в 24 изнасилованиях полицейский получил 36 пожизненных сроков Секс-монстра наказали: признавшийся в 24 изнасилованиях полицейский получил 36 пожизненных сроков

Дэвид Кэррик признан виновным в насилии над женщинами

VOICE
Как лоботомия разрушила жизнь сестры Джона Кеннеди и сделала ее позором семьи Как лоботомия разрушила жизнь сестры Джона Кеннеди и сделала ее позором семьи

Почему сестру Джона Кеннеди скрыли от публики?

VOICE
Сериал «Раневская»: как Фаина Фельдман стала великой актрисой вопреки всем преградам Сериал «Раневская»: как Фаина Фельдман стала великой актрисой вопреки всем преградам

Какой сложный путь к славе проделала Фаина Раневская

Forbes
«Жёсткий откат на десять лет назад» или «пятилетка за два года»: три истории от айтишников, уехавших работать в Берлин «Жёсткий откат на десять лет назад» или «пятилетка за два года»: три истории от айтишников, уехавших работать в Берлин

О легализации и бюрократии, а также поиске жилья, быте и ИТ-сфере в Германии

VC.RU
10 важных правил, которые помогут избежать риска гипертонии 10 важных правил, которые помогут избежать риска гипертонии

Как снизить риск повышенного кровяного давления и чувствовать себя лучше

ТехИнсайдер
Профессиональная ориентация: что это такое и можно ли выбрать карьеру с помощью теста Профессиональная ориентация: что это такое и можно ли выбрать карьеру с помощью теста

Как развивался процесс поиска профессиональной ориентации?

Forbes
Фобии Кидман, Йоханссон и других: туалеты, авокадо и сморщенные пальцы - что пугает голливудских звезд Фобии Кидман, Йоханссон и других: туалеты, авокадо и сморщенные пальцы - что пугает голливудских звезд

У наших кумиров есть очень странные фобии

VOICE
Три правила вкусной пасты Три правила вкусной пасты

Почему пасту не стоит варить по рекомендациям, указанным на упаковке?

СНОБ
Шимпанзе переняли рукопожатие у старших и влиятельных сородичей Шимпанзе переняли рукопожатие у старших и влиятельных сородичей

Позаимствовать социальные обычаи друг у друга обезьянам помогли предубеждения

N+1
В центре Школы будущего будет стоять ребенок | At the Center of the School of the Future will be the Child В центре Школы будущего будет стоять ребенок | At the Center of the School of the Future will be the Child

Журналист Александр Мурашев — как школа может стать жизненным навигатором

Позитивные изменения
Как сохранить нервы и не перегореть на работе? Стоит узнать! Как сохранить нервы и не перегореть на работе? Стоит узнать!

Как сохранить свое ментальное здоровье на работе?

ТехИнсайдер
О роли и месте мужчины в нашем меняющемся мире: о чем еще нам рассказывает фильм «Сын»? О роли и месте мужчины в нашем меняющемся мире: о чем еще нам рассказывает фильм «Сын»?

Каково быть мужчиной, отцом, сыном, супругом в XXI веке?

Psychologies
Старший брат современных бананов — Старший брат современных бананов —

Современные бананы отличаются от фруктов, которыми питались люди в XX веке

ТехИнсайдер
Тайные вредители нашей красоты Тайные вредители нашей красоты

Какие ошибки приводят к проблемам с кожей

Лиза
«Надейся на все, не ожидай ничего»: рецепт идеальной жизни — 42 совета «Надейся на все, не ожидай ничего»: рецепт идеальной жизни — 42 совета

Делимся простыми и универсальными советами, которые сделают вашу жизнь лучше

Psychologies
Как правильно собирать чемодан: лайфхаки, которые помогут компактно упаковать вещи Как правильно собирать чемодан: лайфхаки, которые помогут компактно упаковать вещи

Как компактно собрать чемодан, чтобы в него поместилось все необходимое

ТехИнсайдер
Открыть в приложении