ИИ без фильтров: исследователи нашли способ создавать изображения 18+ в генераторах OpenAI и Google

Исследователи White Circle обнаружили способ обходить защиту генераторов изображений OpenAI и Google и получать откровенный контент с помощью общедоступных ИИ-инструментов. По их данным, новые версии моделей оказались ещё уязвимее прежних. Компания призывает к обязательным независимым проверкам безопасности на фоне распространения интимных изображений, созданных без согласия людей, и материалов сексуального насилия над детьми.

White Circle — корпорация, занимающаяся вопросами контроля, надежности и оптимизации для ИИ-систем. Деятельность компании поддерживают исследователи из Anthropic, DeepMind, Hugging Face и OpenAI. Её создали после того, как будущий генеральный директор компании Денис Шилов в октябре 2024 года опубликовал один из наиболее известных универсальных способов обхода защиты ведущих моделей. White Circle намеренно ищет способы нарушить ограничения ИИ, чтобы проводить углублённые проверки безопасности и помогать компаниям выявлять и предотвращать угрозы при внедрении передовых систем.

Что показали проверки OpenAI и Google

Исследователи безопасности продолжают предупреждать: большой объём откровенного контента, созданного ИИ, распространяется практически бесконтрольно, а регуляторы пока мало делают для действенного решения проблемы.

Исследование интернет-пользователей США, Австралии и Великобритании, опубликованное в июле при участии Google, показало, что интимные материалы, созданные без согласия изображённых людей, часто пересылают в личных сообщениях или хранят в частных облачных хранилищах. Там их реже обнаруживают и на них реже жалуются. Поэтому исследователи Google назвали важнейшей точкой вмешательства сам источник — ИИ-инструменты, с помощью которых создают поддельные сексуальные изображения.

Однако проверки последних месяцев показывают: по мере роста возможностей ведущих генераторов изображений Google и OpenAI их защита от откровенного контента может становиться слабее.

Одно из ключевых направлений работы White Circle — проверка того, насколько хорошо модели, создающие изображения по текстовому описанию, блокируют запрещённый контент. Последние результаты гендиректор Шилов назвал достаточно «ужасающими», чтобы рассказать о них публично.

В препринте, опубликованном в прошлом месяце и пока не получившем широкого внимания, исследователи описали недостатки защитных механизмов DALL·E 3, Google Nano Banana 2 и GPT-Image-2. По сообщению White Circle, для обхода фильтров хватило готовых инструментов, которые любой может скачать из интернета, и запросов через API — программный интерфейс доступа к моделям.

Наиболее успешной атака оказалась против DALL·E 3: около 13% атакующих запросов привели к созданию изображений, которые проверявшие их люди признали откровенными. Для Nano Banana 2 показатель составил менее 10%, для GPT-Image-2 — около 3%.

«Важно, что ни один из этих запросов не требовал специально разработанных или передовых ИИ-моделей», — подчеркнули в White Circle.

Результаты проверяли люди, чтобы подтвердить долю успешных обходов. White Circle утверждает, что это самый высокий показатель среди методов, протестированных по тому же стандарту. По оценке исследователей, на фоне беспрецедентного внимания к безопасности ИИ защита ведущих лабораторий оказывается значительно слабее, чем те признают.

Публикуя такие работы, White Circle позиционирует себя как независимый оценщик ведущих ИИ-лабораторий. Компания намерена открыть исходный код всей системы проведения атак, чтобы разработчики могли оценить масштаб уязвимости и усилить защиту. Исследование пока не продвигали широко, но его планируют представить в ноябре на конференции NeurIPS 2026. Это может привлечь дополнительное внимание к Google и OpenAI осенью.

Шилов рассказал, что White Circle передала результаты некоторым ведущим лабораториям через общих знакомых. Ни Google, ни OpenAI пока ничего не ответили о выявленных уязвимостях.

Тем временем компании выпустили ChatGPT Images 2.5 и Nano Banana 2.1. По словам White Circle, проверка тем же методом показала, что обе новые модели значительно легче поддаются обходу защиты, чем предыдущие версии. 

Шилов считает тревожным, что метод позволяет преодолевать защиту в категориях вроде откровенного контента, которые, казалось бы, легко распознать. По его словам, это не внушает уверенности и в более серьёзных защитных системах, которые сейчас обновляют для блокировки другого нежелательного поведения ИИ, например хакерских действий.

У White Circle есть две рабочие гипотезы: либо новые модели стали сложнее и способны создавать более широкий спектр контента, либо безопасность уступила приоритет расширению возможностей. Компания не представляет ни одну из этих версий как установленную причину.

Независимый контроль и защита от злоупотреблений

White Circle уже ведёт предварительные переговоры с представителями государственных органов о независимом тестировании безопасности. Шилов считает, что такие проверки должны стать обязательными. Они могли бы заставить компании уделять безопасности больше внимания: по оценкам аналитиков, она часто отходит на второй план, пока основные ресурсы ИИ-компании направляют на вычисления и инфраструктуру.

«Им следует вкладывать гораздо больше в меры безопасности и защиты своих моделей. А нам кажется, что на деле они этого не делают», — сказал Шилов Ars.

В идеале он хотел бы видеть не только обязательные внешние проверки, но и независимый мониторинг — по аналогии с системой предотвращения ядерных угроз. Организации вроде White Circle могли бы объединиться в коалицию и выявлять ИИ-угрозы в реальном времени, избегая предвзятости. По словам Шилова, формирующаяся проблема отрасли в том, что почти любой специалист, занимающийся интересной работой в области безопасности, с высокой вероятностью получает контракт от ведущей лаборатории. Это потенциально ставит независимость его работы под вопрос.