Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Роботы с русской душой: как выпускник ВГИКа придумал сельский киберпанк, который оценил даже Дмитрий Рогозин Роботы с русской душой: как выпускник ВГИКа придумал сельский киберпанк, который оценил даже Дмитрий Рогозин

Русская деревня с роботами, кибердоярками и фрактальными огурцами на грядках

Inc.
Средний возраст — не кризис, а перекресток, или Как превратить зрелость в лучшее время жизни Средний возраст — не кризис, а перекресток, или Как превратить зрелость в лучшее время жизни

Средний возраст для многих — время кризисов, сомнений и размышлений об упущенном

Maxim
Ненавижу, но смотрю: как Дональд Трамп стал самым известным человеком в мире (колонка Esquire) Ненавижу, но смотрю: как Дональд Трамп стал самым известным человеком в мире (колонка Esquire)

Андрей Рывкин: масштаб личности Трампа стал больше должности президента США

Esquire
Принять позы Принять позы

Позы или буузы — как правильно, мы так и не узнали: здесь мир разделен надвое

Seasons of life
Изба-читальня Изба-читальня

10 способов обустроить домашнюю библиотеку

Лиза
Фантом диверсанта Фантом диверсанта

Родился Отто Скорцени 12 июня 1908 года в Австрии, в Вене

Дилетант
6 секретов мышления по-настоящему богатых людей 6 секретов мышления по-настоящему богатых людей

Зарабатывать деньги нужно, думая нестандартно: как это делают богатые люди?

Inc.
Банковская идея Банковская идея

Как банки в рекламе ищут новые смыслы и старые ценности

Деньги
Миф нового года Миф нового года

Что делать с «неидеальностью» и как встретить Новый год с истинным удовольствием

Grazia
Они повсюду: 7 источников радиации, которые окружают нас в быту Они повсюду: 7 источников радиации, которые окружают нас в быту

Какие из домашних вещей могут быть настоящими источниками радиации?

ТехИнсайдер
Дорогой к храму: как бывший брокер и металлотрейдер вернул к жизни древнее поселение Дорогой к храму: как бывший брокер и металлотрейдер вернул к жизни древнее поселение

Как предприниматель Геннадий Спажев восстановил село Замытье

Forbes
Ольга и Мария Гусевы Ольга и Мария Гусевы

Фэшн-дивы Ольга и Мария Гусевы собрали уникальную коллекцию посуды

Собака.ru
Назад в будущее: почему IT-гиганты стали инвестировать миллиарды в атомную энергию Назад в будущее: почему IT-гиганты стали инвестировать миллиарды в атомную энергию

Почему корпорации ищут спасение «старом» атоме и причем тут ИИ?

Forbes
Лилия Любимова: «Нет такого вопроса, на который у звезд не было бы правильного ответа» Лилия Любимова: «Нет такого вопроса, на который у звезд не было бы правильного ответа»

Астролог Лилия Любимова — о ретроградном Меркурии и гороскопах

Лиза
Спасаем ваши пальцы: чем отмыть руки от суперклея Спасаем ваши пальцы: чем отмыть руки от суперклея

Как удалить суперклей с кожи подручными средствами?

ТехИнсайдер
Как создать пространство для партнерства после рождения ребенка: 4 простых упражнения Как создать пространство для партнерства после рождения ребенка: 4 простых упражнения

Как избежать угасания эмоциональной связи после рождения ребенка?

Psychologies
Защитники команды «Локомотив» Защитники команды «Локомотив»

Электровозы – основной вид тяги железных дорог России

Наука и техника
Альберт Эйнштейн и Нильс Бор Альберт Эйнштейн и Нильс Бор

Элементы сравнительного жизнеописания Альберта Эйнштейна и Нильса Бора

Наука и жизнь
Взрывная техника Джона Перальты Взрывная техника Джона Перальты

Взрывные диаграммы легендарных приборов, механизмов и гаджетов прошлого

ТехИнсайдер
Не платил налоги, опубликовал фото с «кровавого» сафари, надел костюм со свастикой: дети политиков, которые попадали в крупные скандалы Не платил налоги, опубликовал фото с «кровавого» сафари, надел костюм со свастикой: дети политиков, которые попадали в крупные скандалы

Скандальные истории наследников глав государств

СНОБ
Стань богаче! Стань богаче!

Как составить личный финансовый план на 2025 год

Лиза
Сексизм, киднеппинг и гусеница-наркоманка — за что критикуют вселенную Диснея Сексизм, киднеппинг и гусеница-наркоманка — за что критикуют вселенную Диснея

Какие картины студии Disney вызывали недовольство публики?

СНОБ
Насколько безопасно использование интернет-банкинга? Насколько безопасно использование интернет-банкинга?

Что такое интернет-бакинг и надежен ли он?

Наука и техника
Обман зрения Обман зрения

Холод, перепады температуры и низкая влажность – серьезные испытания для глаз

Лиза
«Джеймс Уэбб» рассмотрел звездные скопления в далеком аналоге зародыша Млечного Пути «Джеймс Уэбб» рассмотрел звездные скопления в далеком аналоге зародыша Млечного Пути

Телескоп рассмотрел звездные скопления в галактике-аналоге Млечного Пути

N+1
Мусульманское серебро Древней Руси Мусульманское серебро Древней Руси

Воздвиженский клад в Новгороде — настоящее сокровище

Наука
Государь всея Руси Государь всея Руси

Когда Иван III пришел к власти, он стал правителем карликового государства...

Знание – сила
Кто заменит иностранную цифру Кто заменит иностранную цифру

Российские IT-компании наращивают темпы в импортозамещении ПО

Монокль
Гуляем! Гуляем!

За что могут оштрафовать в новогоднюю ночь

Лиза
Николай, Карачун, Трескунец: правдивая история Деда Мороза Николай, Карачун, Трескунец: правдивая история Деда Мороза

Прежде чем стать дедушкой в красной шубе, Дед Мороз проделал долгий путь

Правила жизни
Открыть в приложении