ArXiv вводит правило одного удара: бан на год за слепое доверие ИИ

Использовать ИИ по-прежнему можно. Но если автор не проверил результат — бан на год и допуск обратно только через рецензируемый журнал.

ArXiv — крупнейший открытый репозиторий научных препринтов (статей, опубликованных до рецензирования), через который распространяется значительная часть исследований в области информатики, математики и физики. Это одновременно самый быстрый канал популяризации научных идей — и самый уязвимый перед потоком низкокачественных работ.

На прошлой неделе Томас Диттерих, руководитель секции компьютерных наук arXiv, объявил о новом правиле. Его аргумент звучит справедливо: «Если в статье обнаруживаются очевидные признаки того, что авторы не проверили результат генерации языковой модели, — значит, мы не можем доверять ничему в этой работе». Следствие — отстранение на год. По истечении срока бана новая публикация на arXiv возможна только при условии, что работа уже принята рецензируемым журналом.

Что считается «очевидным признаком»? Галлюцинированные ссылки (источники, которых не существует), оставленные в тексте реплики чат-бота, скопированные ошибки, плагиат или некорректные цитаты — любые свидетельства того, что автор вставил ответ ИИ в статью не перепроверив.

Важный нюанс: это не запрет на использование ИИ. Диттерих подчеркивает, что авторы «несут полную ответственность за содержание, независимо от того, каким способом оно получено». Языковая модель может быть инструментом — но не соавтором, за выводы которого никто не ручается.

Правило работает по принципу «одного удара»: модераторы фиксируют нарушение, руководитель секции подтверждает — и бан вступает в силу. У авторов есть право на апелляцию.

Это не превентивная мера: проблема уже подтверждена исследованиями. Недавняя рецензируемая работа, опубликованная в The Lancet, зафиксировала рост числа фальшивых цитат в биомедицинских публикациях — вероятнее всего, из-за языковых моделей. Платформа arXiv и ранее предпринимала шаги в этом направлении: новые авторы должны получить поручительство от признанного ученого, а сама организация выходит из-под крыла Корнелльского университета (одного из старейших исследовательских вузов США, входящего в Лигу плюща), становясь независимой некоммерческой организацией — что даст ей возможность привлекать финансирование напрямую и направлять больше ресурсов на борьбу с ИИ-слопом.

Ученые, впрочем, не единственные, кого ловят на выдуманных ИИ-ссылках. В прошлом году юрист компании Anthropic использовал модель Claude для подготовки судебного документа. Модель сгенерировала ссылку на несуществующее судебное решение, юрист не проверил и подал документ в суд — после чего был вынужден публично извиниться.

ИИ в науке — уже реальность, и в этом нет ничего плохого. Но если исследователь доверяет нейросети вслепую — удивляться бану не стоит. Инструмент не виноват. И если он ошибся, а ученый не заметил — отвечать придется ученому.