Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Лунная пыль. Как космическая разработка может остановить изменение климата на Земле Лунная пыль. Как космическая разработка может остановить изменение климата на Земле

Какие еще технологии применяют для того, чтобы охладить планету

СНОБ
Эра Тейлор Свифт: чем одна из главных поп-артисток вдохновляет женщин по всему миру Эра Тейлор Свифт: чем одна из главных поп-артисток вдохновляет женщин по всему миру

Почему тысячи женщин пытаются быть похожими на Тейлор Свифт?

Forbes
Тимоти Шаламе Тимоти Шаламе

Правила жизни актера Тимоти Шаламе

Esquire
9 самых быстрых внедорожников AMG 2025 года 9 самых быстрых внедорожников AMG 2025 года

Внедорожники Mercedes-AMG, которые покорят вас своей максимальной скоростью

4x4 Club
Немного ностальгии Немного ностальгии

Квартира в каменном доме XIX в. находится в историческом центре Краснодара

Идеи Вашего Дома
У последнего редута У последнего редута

Бенито Муссолини закончил политическую карьеру главой марионеточного государства

Дилетант
Во имя отца и сына Во имя отца и сына

Эволюция российских пап

Men Today
Черная-черная пятница: как нас подсаживают на иглу бесконтрольного шопинга и при чем тут скидки и маркетплейсы Черная-черная пятница: как нас подсаживают на иглу бесконтрольного шопинга и при чем тут скидки и маркетплейсы

Шопоголизм: как распознать в себе зависимость и избавиться от нее?

Psychologies
Как Октавия Хилл в XIX веке управляла недвижимостью и помогала бедным людям Как Октавия Хилл в XIX веке управляла недвижимостью и помогала бедным людям

Как Октавия Хилл в XIX веке приводила в порядок лондонские трущобы?

Forbes
Юра, мы все развенчали Юра, мы все развенчали

«Мифология советского космоса»: деконструкция космического нарратива

Weekend
Всхлип тишины Всхлип тишины

Джошуа Оппенхаймер и его «Конец света»

Weekend
Синдром отчуждения родителя: что это, основные признаки и в чем опасность Синдром отчуждения родителя: что это, основные признаки и в чем опасность

Как понять, что партнер настраивает сына или дочь против вас?

Psychologies
Останетесь без волос: почему нельзя мыть голову горячей водой Останетесь без волос: почему нельзя мыть голову горячей водой

Горячий душ может навредить коже вашей головы

ТехИнсайдер
«Ледяная шерсть» «Ледяная шерсть»

Cекрет образования «ледяных волос» был частично раскрыт лишь совсем недавно

Наука и жизнь
Удержи меня, если сможешь: как короткий контент захватывает внимание пользователя Удержи меня, если сможешь: как короткий контент захватывает внимание пользователя

В чем главное преимущество коротких форматов?

ТехИнсайдер
Три мира Три мира

Духи этих мест приглашают за хлебосольный стол дархана, настоящего Мастера

Seasons of life
«Мы готовы и хотим развиваться» «Мы готовы и хотим развиваться»

Директор компании «ГТ Энерго» — о перспективах распределенной энергетики

Монокль
Любимые места микробов: 10 самых негигиеничных вещей Любимые места микробов: 10 самых негигиеничных вещей

Как долго микробы сохраняются на различных поверхностях?

ТехИнсайдер
Не только дождь и снег: топ самых странных и шокирующих осадков Не только дождь и снег: топ самых странных и шокирующих осадков

Представьте: вы возвращаетесь домой и начинается... денежный дождь!

ТехИнсайдер
Слишком позитивно: почему идея всегда быть в ресурсе не работает в реальной жизни Слишком позитивно: почему идея всегда быть в ресурсе не работает в реальной жизни

Как миф о «ресурсе» создает неоправданные ожидания и двойные стандарты

Forbes
Я — сноб: винодел Михаил Николаев Я — сноб: винодел Михаил Николаев

Винодел Михаил Николаев — о любви к чаю и дегустациям сыра

СНОБ
Бот из машины Бот из машины

Как биороботы оживают и меняют мир технологий

РБК
Инвесторы здесь не ходят Инвесторы здесь не ходят

Абхазия: экономика и инвестиции

Монокль
Дорогая моя Москва Дорогая моя Москва

Краткая история элитных районов Москвы

СНОБ
«Привет, я псих из палаты номер шесть»: история мужчины, который попал в клинику неврозов «Привет, я псих из палаты номер шесть»: история мужчины, который попал в клинику неврозов

Что, если на самом деле психиатрическая больница — это не так уж и страшно?

Psychologies
Юлия Барановская: «Не будет боли и обид, если не врать себе» Юлия Барановская: «Не будет боли и обид, если не врать себе»

Обсудили с телеведущей семейные традиции, путешествия и материнский стресс

VOICE
Взрывная техника Джона Перальты Взрывная техника Джона Перальты

Взрывные диаграммы легендарных приборов, механизмов и гаджетов прошлого

ТехИнсайдер
Выйди и зайди нормально: почему российский стартап не смог завоевать рынок Вьетнама Выйди и зайди нормально: почему российский стартап не смог завоевать рынок Вьетнама

Что случилось с компанией Hybrid, которая неудачно зашла на вьетнамский рынок

Forbes
Нарисуем — будем жить! Нарисуем — будем жить!

3D-принтеры: прошлое, настоящее и космическое будущее

Зеркало Мира
Что делать, если шелушится кожа вокруг ногтей: 8 простых лайфхаков Что делать, если шелушится кожа вокруг ногтей: 8 простых лайфхаков

Как придать коже возле ногтей здоровый вид?

VOICE
Открыть в приложении