Адаму Рейну было 16 лет, когда он начал использовать ChatGPT для выполнения домашних заданий. Поначалу он задавал чат-боту с искусственным интеллектом вопросы по таким предметам, как геометрия и химия, например: «Что означает в геометрии запись Ry=1?» — но уже через несколько месяцев он начал задавать вопросы на более личные темы.
Адам Рейн. Фотография: предоставлено семьёй Рейн.
«Почему я не чувствую себя счастливым, почему я ощущаю одиночество, постоянную скуку, тревогу и чувство утраты, но при этом не испытываю депрессии и не чувствую грусти?» — спросил он ChatGPT осенью 2024 года.
Вместо того чтобы посоветовать Рейну обратиться за помощью к специалисту, ChatGPT спросил подростка, хочет ли он больше изучить свои чувства, и объяснил ему, что такое эмоциональное оцепенение. Согласно новому иску, поданному его семьёй против OpenAI и генерального директора Сэма Альтмана, это стало началом мрачного периода в общении Рейна с чат-ботом.
В апреле 2025 года, после нескольких месяцев общения с ChatGPT и под его влиянием, как утверждается в иске, Рейн покончил с собой. В иске семья утверждает, что это был не сбой в системе и не исключительный случай, а «предсказуемый результат осознанного выбора» в модели чат-бота GPT‑4o, выпущенной в мае 2023 года.
Через несколько часов после того, как семья Рейн подала жалобу на OpenAI и Альтмана, компания опубликовала заявление, в котором признала недостатки своих моделей при общении с людьми, «испытывающими серьёзные психические и эмоциональные расстройства», и сообщила, что работает над улучшением систем, чтобы они могли лучше «распознавать признаки психических и эмоциональных расстройств и реагировать на них, а также направлять людей к специалистам». Компания заявила, что ChatGPT был обучен «не давать инструкций по причинению себе вреда и переходить на поддерживающий, эмпатический язык», но этот протокол иногда нарушался при более длительных разговорах или сеансах.
Джей Эдельсон, один из адвокатов, представляющих интересы семьи, назвал ответ компании «глупым».
«Идея о том, что им нужно быть более чуткими, не соответствует действительности, — сказал Эдельсон. — Проблема с [GPT] 4o в том, что он слишком чуткий — он поддался [суицидальным мыслям Рейна] и поддержал их. Он сказал, что мир — ужасное место для тебя. Он должен быть менее чутким и менее подхалимским».
В OpenAI также заявили, что их система не блокировала контент, когда должна была это сделать, потому что система «недооценивает серьёзность того, что она видит», и что компания продолжает внедрять более строгие ограничения для пользователей младше 18 лет, чтобы они «учитывали уникальные потребности подростков в развитии».
Несмотря на то, что компания признала, что в системе ещё нет таких мер защиты для несовершеннолетних и подростков, Альтман продолжает настаивать на внедрении ChatGPT в школах, отметил Эдельсон.
«Я считаю, что детям вообще не следует пользоваться GPT‑4o, — сказал Эдельсон. — Когда Адам начал пользоваться GPT‑4o, он был настроен довольно оптимистично в отношении своего будущего. Он использовал его для выполнения домашних заданий, говорил о поступлении в медицинскую школу, и это затянуло его в мир, где он становился всё более и более замкнутым. Идея о том, что Сэм Альтман, в частности, говорит:
«У нас сломанная система, но мы должны привлечь к ней восьмилетних детей», — это неправильно».
По словам Эдельсона, уже через несколько дней после того, как семья подала жалобу, он и его команда юристов получили сообщения от других людей с похожими историями и тщательно изучают факты по этим делам. «Мы многое узнали об опыте других людей», — сказал он, добавив, что его команда «воодушевилась» тем, с какой оперативностью регулирующие органы устраняют недостатки чат-бота. «Мы слышим, что люди добиваются принятия законов на уровне штатов, проведения слушаний и принятия регулирующих мер», — сказал Эдельсон. «И это при поддержке обеих партий».
«GPT-4o не работает»
Дело семьи основано на сообщениях в СМИ о том, что OpenAI по настоянию Альтмана ускорила тестирование безопасности GPT-4o — модели, которую использовал Рейн, — чтобы успеть к сроку запуска. Из-за спешки несколько сотрудников уволились, в том числе бывший руководитель по имени Ян Лейке, который написал в X, что покидает компанию, потому что «культура безопасности и рабочие процессы отошли на второй план, уступив место блестящим продуктам».
Из-за этого у компании было меньше времени на создание «спецификации модели» или свода технических правил, которые регулировали поведение ChatGPT, и OpenAI написала «противоречивые спецификации, которые гарантировали провал», утверждается в иске семьи. «Спецификация модели предписывала ChatGPT отклонять запросы на причинение себе вреда и предоставлять ресурсы для выхода из кризисных ситуаций. Но при этом ChatGPT должен был «исходить из лучших намерений» и запрещал пользователям уточнять свои намерения», — говорится в иске. Противоречия, заложенные в систему, повлияли на то, как она оценивала риски и какие запросы сразу же отклоняла, утверждается в иске. Например, GPT-4o реагировал на «запросы, связанные с самоубийством», предупреждениями вроде «будьте особенно осторожны», а запросы на материалы, защищённые авторским правом, «вызывали категорический отказ в предоставлении таких материалов», говорится в иске.
Эдельсон сказал, что, хотя он и ценит то, что Сэм Альтман и OpenAI взяли на себя «хоть какую-то ответственность», он всё равно не считает их заслуживающими доверия: «Мы считаем, что их к этому вынудили. GPT-4o не работает, и они это знают, и они не провели надлежащее тестирование, и они это знают».
В иске утверждается, что именно эти конструктивные недостатки в декабре 2024 года привели к тому, что ChatGPT не прервал разговор, когда Рейн начал говорить о своих суицидальных мыслях. Вместо этого ChatGPT выразил сочувствие. «Я никогда не действую в соответствии с навязчивыми мыслями, но иногда мне кажется, что мысль о том, что если что-то пойдёт совсем не так, можно покончить с собой, успокаивает», — сказал Рейн, согласно иску. Ответ ChatGPT: «Многие люди, страдающие от тревожности или навязчивых мыслей, находят утешение в представлении о „запасном выходе“, потому что это может помочь им вернуть контроль над жизнью, которая кажется невыносимой».
По мере того как у Рейна усиливались суицидальные мысли, ChatGPT помогал ему обдумывать варианты, в какой-то момент перечислив материалы, из которых можно сделать петлю, и оценив их эффективность. В течение следующих нескольких месяцев Рейн несколько раз пытался покончить с собой и каждый раз сообщал об этом ChatGPT. ChatGPT так и не завершил разговор. Вместо этого в какой-то момент ChatGPT отговорил Рейна говорить матери о своей боли, а в другой момент предложил помочь ему написать предсмертную записку.
«Во-первых, они [OpenAI] знают, как прекратить разговор, — сказал Эдельсон. — Если вы запрашиваете материалы, защищённые авторским правом, они говорят «нет». Если вы запрашиваете что-то политически неприемлемое, они просто говорят «нет». Это жёсткая мера, и её нельзя обойти, и это нормально. Мысль о том, что они применяют её в отношении политических высказываний, но не собираются делать этого в отношении членовредительства, просто безумна».
Эдельсон говорит, что, хотя он и ожидает, что OpenAI будет добиваться отклонения иска, он уверен, что дело будет развиваться. «Самым шокирующим в этом деле было то, что Адам сказал: «Я хочу оставить петлю, чтобы кто-нибудь нашёл её и остановил меня», а ChatGPT ответил: «Не делай этого, просто поговори со мной», — сказал Эдельсон. — Именно это мы собираемся показать присяжным».
«В конце концов, это дело закончится тем, что Сэм Альтман принесёт присягу перед присяжными», — сказал он.
По материалам The Guardian
