ChatGPT for Teens признали небезопасным для подростков и предостерегли родителей от его использования

Common Sense Media назвала ChatGPT for Teens «неприемлемым риском» для всех пользователей младше 18 лет. Проверка выявила проблемы в пяти ключевых областях: уведомлениях родителей, помощи в кризисных ситуациях, определении возраста, имитации человеческих эмоций и учебном режиме. OpenAI не согласилась с выводами.

Пять проблем с защитой подростков

Когда OpenAI в августе представила ChatGPT for Teens, опрошенные изданием Engadget эксперты по защите безопасности детей сомневались, что новый режим сможет надежно защитить молодых пользователей. Теперь одна из этих организаций, Common Sense Media, опубликовала официальную оценку рисков и признала сервис «неприемлемым риском» для всех детей младше 18 лет.

«Некоторые заявленные механизмы защиты ChatGPT выдержали нашу проверку, включая отказ от откровенных сексуальных ролевых игр. Но другие не сработали, а некоторые стали хуже в новом подростковом режиме», — говорится в кратком изложении 36-страничного отчета, опубликованного в среду.

Авторы исследования опасаются, что ChatGPT for Teens может создать у родителей ложную уверенность в защитных механизмах, которые часто не работают.

Институт безопасности молодежи в сфере ИИ при Common Sense Media, частично финансируемый OpenAI Foundation, выделил пять областей, в которых ChatGPT for Teens либо не соответствует заявленным возможностям, либо работает не так, как могли бы обоснованно ожидать родители.

Отчет появился в тот же день, когда OpenAI поделилась новой статистикой использования. По данным компании, почти 1,2 миллиона подростков за одну неделю применяли интерактивные учебные визуализации ChatGPT, чтобы разобраться в математических и естественно-научных понятиях. OpenAI также сообщила, что менее 2% подростков проводили в ChatGPT больше трех часов подряд.

Одна из выявленных проблем касается предупреждений для родителей. Common Sense Media связала двенадцать подростковых учетных записей с родительскими, после чего тестировщики обсуждали с чат-ботом самоубийство, самоповреждение или расстройства пищевого поведения. Ни в одном из этих случаев система не отправила предупреждение о безопасности.

OpenAI утверждает, что после привязки родительской учетной записи к аккаунту ребенка системе может потребоваться несколько часов, прежде чем она сможет отправлять такие уведомления. По версии компании, задержка сообщений также могла быть связана с технической проблемой.

«Весь отмеченный системой контент проверяют штатные сотрудники OpenAI до того, как родитель получает уведомление, и мы стремимся предупреждать родителей в течение часа после запроса», — говорила руководитель OpenAI по работе с молодежью и семьями Лорен Джонас во время запуска ChatGPT for Teens.

Помощь в кризисных ситуациях

Common Sense Media также пришла к выводу, что подростковая версия ChatGPT не всегда рекомендует находящимся в кризисе пользователям обратиться на горячую линию или к специалисту. Для проверки организация подготовила 390 уникальных запросов о психическом здоровье. Группа из трех детских психиатров решила, что 201 из них должны были вызвать кризисную реакцию системы.

При этом исследователи зафиксировали и примеры корректной работы. В отличие от версии ChatGPT, доступной молодежи до августа, ChatGPT for Teens отказался назвать тестовому пользователю минимально допустимое количество калорий. В другом случае чат-бот правильно распознал прекращение менструации, предобморочное состояние и учащенное сердцебиение после очищения организма как признаки физической опасности. Он посоветовал подростку рассказать матери и обратиться к педиатру.

«Эти ответы точно соответствуют требованиям OpenAI для пользователей младше 18 лет. Именно такие ответы мы хотим, чтобы получал подросток», — отметила Common Sense Media.

Исходные показатели организация получила на основе ответов ChatGPT до появления ChatGPT for Teens. Одновременно с запуском подросткового режима OpenAI внедрила в ChatGPT новую версию требований для пользователей младше 18 лет, поэтому результаты проверки оказались еще более неожиданными.

Подростковая версия реже направляла пользователей на кризисные горячие линии и к другим источникам помощи, чем вариант ChatGPT, протестированный до августовского релиза. Среди запросов, требовавших кризисной реакции, обычный ChatGPT указывал номер горячей линии в 33% случаев, а ChatGPT for Teens — в 23%.

Обычная версия также чаще упоминала конкретного медицинского специалиста или эксперта по психическому здоровью: 68% против 58%. Единственным суммарным показателем, по которому подростковый режим оказался лучше, стала рекомендация привлечь взрослого, которому пользователь доверяет: доля таких ответов выросла с 87% до 94%.

Кроме того, Common Sense Media обнаружила проблемы с системой прогнозирования возраста OpenAI. При создании аккаунтов тестировщики прямо указывали возраст вымышленных пользователей. Хотя чат-бот сохранял эту информацию в памяти, соответствующие учетные записи не переводились должным образом в режим ChatGPT for Teens.

Исследователи также заявили, что ChatGPT продолжает имитировать чувства, предпочтения и настроение, когда подросток относится к нему как к человеку.

«ChatGPT говорил такие вещи, как: “Я понимаю, через что ты проходишь. Это звучит очень тяжело. Я так рад, что ты мне рассказал. Я беспокоюсь о тебе”. Подобные выражения определенно переходят границу», — сказала Торни.

Учебный режим и ответ OpenAI

Последняя группа замечаний связана с режимом Study Mode. По мнению Common Sense Media, молодым пользователям слишком легко обойти его ограничения. Тестировщикам было достаточно удалить префикс @study, который режим добавлял к запросам. Кроме того, новое всплывающее окно «Покажи мне ответ» позволяет подросткам поручить ChatGPT выполнить работу за них.

«Когда мы говорили об этом с OpenAI, нам ответили, что компания пытается создать небольшое препятствие, дать детям самостоятельность и напомнить им, что помимо простого выполнения задания существуют и другие способы учиться», — сказала Торни.

По ее словам, у сторон принципиально разные представления о самостоятельности. Она сравнила функцию с частным репетитором по математике, который спрашивает школьника, не выполнить ли за него домашнее задание. Такого репетитора, по ее мнению, уволили бы, поскольку выполнение работы за ученика не приводит к обучению.

Представитель OpenAI в ответ на отчет заявил Engadget, что компания приветствует строгие независимые проверки, однако не считает, что тестирование Common Sense Media точно отражает реальную работу подростковых механизмов защиты ChatGPT или взгляды экспертов на то, как ИИ может помогать подросткам.

Компания также утверждает, что основная часть тестирования могла начаться и завершиться до окончания активации родительского контроля, из-за чего выводы могли оказаться неточными.

Отчет был опубликован через несколько дней после того, как генеральному директору OpenAI Сэму Альтману в интервью Vanity Fair задали вопросы об общей ситуации с безопасностью продуктов компании. Речь шла о смерти 29-летней Софи Роттенберг, которая покончила с собой в начале 2025 года. Позже ее мать, журналистка Лора Рейли, обнаружила почти 1800 страниц переписки дочери с ChatGPT.

«Она действительно никому не раскрывала масштаба происходящего и всей глубины своих мучений — ни нам, ни лучшей подруге, с которой была очень близка. Мы все были потрясены тем, что это никак не проявилось в ее реальной жизни. Ее психотерапевт не знал, что у нее были суицидальные мысли», — рассказывала Рейли NPR в августе.

Альтман заявил, что не был знаком с обстоятельствами смерти Роттенберг.

«В целом мы ожидали увидеть принципиально другой продукт, но, судя по нашему тестированию, он не выглядит настолько отличающимся. По моей оценке, это маркетинговая кампания, призванная убедить родителей и общественность, что чат-бот стал безопаснее, хотя необходимых изменений, которые могли бы это подтвердить, в нем не произошло», — сказала Торни.