Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

История WelcomeBackHome История WelcomeBackHome

Как зарабатывать десятки миллионов рублей в год на тех, кто ищет смысл жизни?

Inc.
Освобождение и эксплуатация: как менялось отношение к обнаженному телу в кино Освобождение и эксплуатация: как менялось отношение к обнаженному телу в кино

Как менялось восприятие женского обнаженного тела?

Forbes
Гимн одуванчику! Гимн одуванчику!

Одуванчик врачует душу, ведь он — замечательный символ весны!

Наука и жизнь
«Мерило успеха — это время»: музыкант Boulevard Depo о новом альбоме и русском рэпе «Мерило успеха — это время»: музыкант Boulevard Depo о новом альбоме и русском рэпе

Boulevard Depo — об отношении к успеху и вдохновении

Forbes
Что случилось с миром из-за Великой депрессии в США? Узнайте интересные факты о 1930-х Что случилось с миром из-за Великой депрессии в США? Узнайте интересные факты о 1930-х

Какие изменения в мире вызвала Великая депрессия?

ТехИнсайдер
Как выбрать бэушный автомобиль с оптимальным пробегом: правило 1-2-3 Как выбрать бэушный автомобиль с оптимальным пробегом: правило 1-2-3

Какой пробег считать нормальным в зависимости от возраста машины?

ТехИнсайдер
Зеленое поколение: экологическая тревожность и аллергия на гиперпотребление Зеленое поколение: экологическая тревожность и аллергия на гиперпотребление

Почему для альфа и зумеров забота о планете стала обычной рутиной?

Forbes
«Черные лебеди» — 2025 «Черные лебеди» — 2025

Главные риски для финансовых рынков в 2025 году

Деньги
4 ситуации, когда передаривать подарки даже нужно, — и как правильно это делать 4 ситуации, когда передаривать подарки даже нужно, — и как правильно это делать

По этикету, вручить ненужные презенты другому человеку еще как можно

ТехИнсайдер
«Доверие Александра Македонского к врачу Филиппу» «Доверие Александра Македонского к врачу Филиппу»

Во время похода в Персию Александр Ма­кедонский тяжело заболел

Дилетант
Вот так спорт, или назло рекордам Вот так спорт, или назло рекордам

Спортивные соревнования, которые и спортом-то не назовешь

Зеркало Мира
Нас возвышающий финал Нас возвышающий финал

Как Илья Авербах находил гармонию в окружающей нелепости

Weekend
В городе дождей В городе дождей

Обустройство квартиры для сдачи в аренду — задача со многими неизвестными

Идеи Вашего Дома
«Меня обходили стороной, словно смерть заразна»: история женщины, потерявшей дочь «Меня обходили стороной, словно смерть заразна»: история женщины, потерявшей дочь

Личная история проживания горя утраты

Psychologies
Синдром Маугли: что это такое в психологии, признаки и лечение Синдром Маугли: что это такое в психологии, признаки и лечение

Что такое синдром Маугли и как он проявляется у детей?

Psychologies
«Хочу перестать грустить и понять, почему шел муж»: как сформулировать работающий запрос к психологу «Хочу перестать грустить и понять, почему шел муж»: как сформулировать работающий запрос к психологу

Какие психологические запросы не работают и как их правильно составлять?

Psychologies
Егор Крид: «Этот год оказался ключевым для меня» Егор Крид: «Этот год оказался ключевым для меня»

Обсудили с певцом 30-летний рубеж, фиты и стадионные концерты

VOICE
Следующее желание Следующее желание

В этой новогодней истории встретились две главные темы – Байкал и Новый год

Seasons of life
Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты» Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты»

Я в отношениях уже девять лет, поэтому не могу сказать, что влюблена. Я люблю

Караван историй
11 возможных причин того, что вы все еще одна 11 возможных причин того, что вы все еще одна

Скорее всего, у того, что вы пока не в отношениях, есть весомая причина

Psychologies
Дом, который убивал своих жителей: радиационный инцидент в Краматорске 1980-х годов Дом, который убивал своих жителей: радиационный инцидент в Краматорске 1980-х годов

Как затерянный в стене квартиры цезий уносил жизни одну за другой

ТехИнсайдер
Как работают слабослышащие таксисты: интервью Как работают слабослышащие таксисты: интервью

Слабослышащий водитель такси — о самых любимых пассажирах и безбилетниках

Maxim
Поднять китеж Поднять китеж

Чем в разные эпохи была сказка для людей, которые ее рисовали

Правила жизни
В силиконовых ремешках смарт-часов содержится множество вредных химикатов В силиконовых ремешках смарт-часов содержится множество вредных химикатов

Слышали что-нибудь о «вечных химикатах»?

ТехИнсайдер
Ученые назвали самый здоровый способ приготовить брокколи Ученые назвали самый здоровый способ приготовить брокколи

Как и приготовить брокколи правильно, чтобы получить пользу

ТехИнсайдер
Что такое движение «Ни-ни», и почему оно набирает обороты Что такое движение «Ни-ни», и почему оно набирает обороты

Почему каждый пятый зумер в мире не хочет работать?

Psychologies
Сказка о самолете-невидимке Сказка о самолете-невидимке

«Прометей»: детектив со сказочными допущениями

Weekend
Грустная дива: как оперная певица Мария Каллас покорила мир и лишилась голоса Грустная дива: как оперная певица Мария Каллас покорила мир и лишилась голоса

Трагичная история оперной дивы Марии Каллас, которая так и не нашла любви

Forbes
Что такое психогенное переедание, или binge eating Что такое психогенное переедание, или binge eating

Психогенное переедание: как его распознать и можно ли вылечить?

ТехИнсайдер
«В русской литературе финалом по большей части является тоска» «В русской литературе финалом по большей части является тоска»

Любовь Аркус о том, что делает финалы великими

Weekend
Открыть в приложении