OpenAI начнет маркировать тексты ChatGPT и Codex, но пока только в Евросоюзе

OpenAI начнёт добавлять невидимую водяную метку в тексты, созданные ChatGPT и Codex в Евросоюзе. Она поможет автоматическим системам распознавать контент, сгенерированный ИИ, но не будет видна читателям.

Компания сообщила об этом в понедельник, объяснив решение требованиями закона ЕС об искусственном интеллекте. Вступившие в силу 2 августа правила прозрачности требуют от разработчиков маркировать созданный ИИ контент так, чтобы его могли идентифицировать другие системы.

Водяная метка появится в ближайшие недели у подходящих пользователей ChatGPT и Codex на всех тарифах, но только на территории ЕС. Разработчики, работающие с API OpenAI в любой стране, уже могут включить её для отдельных моделей. По умолчанию эта функция отключена, и на старте OpenAI не планирует распространять её на весь мир.

Как работает невидимая метка

Речь идёт не о специальном символе или подписи. Система незаметно корректирует выбор слов моделью, формируя скрытый шаблон. Человек его не увидит, однако специальный детектор сможет распознать. Поскольку метка содержится в самих словах, она сохраняется при копировании и вставке текста.

OpenAI утверждает, что метка не позволяет установить личность пользователя. В ходе испытаний компания также не обнаружила значимого влияния технологии на качество работы моделей.

Метод получил название textGrain. Его техническое описание OpenAI подготовила совместно с исследователями Пенсильванского и Йельского университетов. Технология использует секретный ключ, чтобы особым образом распределять варианты следующего слова. Сотни подобных небольших изменений позволяют детектору определить происхождение текста, имея только сам материал и ключ.

Ограничения технологии

Редактирование может ослабить или удалить водяную метку. В одном из тестов замена 10% слов синонимами снизила точность обнаружения примерно с 92% до 66%. Короткие фрагменты, математические ответы и переведённые тексты также сложнее распознавать.

Из-за этих ограничений OpenAI сначала предоставит доступ к детектору только одобренным исследователям и экспертным организациям. Они помогут оценить надёжность технологии и варианты её ответственного применения.

Отсутствие водяной метки не доказывает, что текст написал человек: материал может быть слишком коротким, сильно отредактированным или созданным системой другой компании.

В OpenAI также подчёркивают, что метка способна указать лишь на то, что система компании создала или обработала часть текста. Она не показывает, сколько человеческих решений, редактирования или творческого вклада было внесено в итоговый материал.

За два месяца до этого Anthropic объявила о глобальном внедрении водяных меток в тексты Claude. Некоторые пользователи раскритиковали решение, заявив, что сами предоставляют инструкции, контекст и принимают решения, тогда как Claude остаётся лишь инструментом.

OpenAI уже разрабатывала текстовую водяную метку, однако не выпускала её, в частности из-за опасений, что пользователи могут перейти к конкурентам без такой маркировки, сообщала в 2024 году The Wall Street Journal. Anthropic, Google, Meta*, Microsoft и OpenAI входят в число компаний, обязавшихся следовать европейскому кодексу практики в отношении контента, созданного ИИ.

* Организация Meta, а также её продукты Instagram и Facebook, на которые мы ссылаемся в этой статье, признаны экстремистскими на территории РФ