Как я перестал управлять людьми и начал управлять ИИ: опыт 10 недель с агентами в кодинге

За десять недель проект, в котором агенты пишут большую часть кода, накопил 1575 пулл реквестов. 1363 из них открыты агентами. Это не эксперимент и не пилот: это наш клиентский проект, где раньше работала бы команда разработчиков, а теперь работает связка из агентов, тикетов и нескольких человек, которые следят за происходящим.
Ожидание было таким: если агенты берут на себя кодинг, то управленческая часть сожмется. Она не сжалась, она скорее переместилась. Вместо того чтобы тратить время на распределение задач между людьми и чтение кода, время уходит на написание тикетов, проверку их выполнения и поддержание инструкций, по которым работают агенты.
Что перенеслось из управления людьми
Оказалось, что часть практик из мира «человеческой» разработки переносится почти без изменений. Логика та же, только исполнитель другой.
Тикеты. Раньше размытый тикет можно было уточнить в разговоре: подойти к разработчику и объяснить, что имелось в виду. Теперь такого разговора нет. Поэтому появился отдельный шаг, на котором агент сравнивает diff с критериями приемки. Тикет стал одновременно спецификацией и тестом: если критерий нельзя проверить, задача не уходит агенту. Именно написание таких тикетов занимает теперь большую часть времени.
Никто не аппрувит свою работу. Это правило для людей перенесено на агентов буквально: тот, кто писал код, никогда не помечает задачу выполненной. Вместо этого работают три независимых шага: один читает CI, второй сравнивает diff с критериями, третий проходит по стейджингу и делает скриншот для каждого критерия. Любой из них может отправить карточку обратно. Автор кода не участвует в приёмке.
WIP-лимиты. Одновременно в работе не больше 15 задач. Как и с людьми, лимит определяется не тем, сколько у нас «работников», а тем, сколько задач могут удержать в голове люди, которые следят за процессом. Агенты могли бы вести 50 параллельных задач, но человек не сможет за ними уследить.
Видимые блокеры. Любая задача, которая требует участия человека, отправляется в колонку Blocked, а не тихо ждет где-то в недрах процесса. Это фактически замена стендапа: блокеры видны всем, и никто не ждет днями, пока что-то выяснится.
Что не перенеслось
Есть вещи, которые в мире агентов работают по-другому или не работают вовсе.
Бюджет на человека. Год назад один наш разработчик за неделю потратил на агентов $1000, и это выглядело аномалией. Теперь бюджет считается иначе: медианная стоимость одной завершенной задачи $36. Но каждая десятая история стоит больше $147. Именно этот «хвост» и есть ключевая метрика, за которой приходится следить. Среднее значение врет: хвост из дорогих задач показывает, где агент зациклился или где тикет был слишком размытым.
Код-ревью как главный гейт. На ревью уходит около 11% расходов на агентов, но люди больше не читают каждый diff. Люди теперь отвечают за требования и финальное подтверждение вместе с клиентом. Вместо чтения кода — проверка тех же доказательств, которые смотрел проверяющий агент: скриншоты, сравнение с критериями, флаги от diff review.
Рост сотрудников по грейдам. Раньше для меня лично лучшая часть работы состояла в том, чтобы вырастить синьора в тимлида. Агент не становится лучше от фидбека: он не учится, у него нет памяти о прошлых ошибках. Единственный способ «улучшить» агента - это улучшить его инструкции. Чем заменить для людей возможность роста в этой схеме, пока непонятно.
В чем теперь сложность
Раньше узким местом был код: его нужно было написать, проверить, исправить. Теперь код генерируется быстро и дешево, но узким местом становится всё, что вокруг него.
Во-первых, спецификация. Тикет, по которому агент будет работать, это не просто описание задачи, а экзамен: критерии должны быть проверяемыми, иначе проверяющий шаг не сможет ничего сравнить с diff. Красивый, но ошибочный тикет опаснее размытого: он выглядит как спецификация, поэтому его никто не оспаривает. В одном из комментариев к обсуждению этой истории описан случай: синьор пять дней делал PR по тикету, который написал агент. Тикет был прекрасен: с критериями, краевыми случаями, всем. Но он был неверен по сути, и никто не задал вопрос.
Во-вторых, проверка. Разделение ролей (автор не аппрувит, три независимых шага проверяют) работает, но только в рамках того, что записано в тикете. Если все три проверяющих работают по одному и тому же неполному тикету, они могут согласиться на одном и том же неправильном результате. Пробел в критериях, например неописанное ограничение на права доступа, пройдет незамеченным через все три проверки.
Что пришлось начать делать
Помимо переноса старых практик, появились и новые, которых раньше не было.
Писать тикеты как для нового подрядчика в первый день. Никакого «почини баг с формой бронирования, ты знаешь какой». Агент не знает. Каждая задача должна нести в себе весь контекст: что нужно сделать, как это проверить, какие есть ограничения.
Считать стоимость за завершенную пользовательскую историю, а не за задачу. Объем выполненных задач сам по себе ни о чём не говорит. Если треть работы приходится переделывать вручную, то стоимость «закрытых» задач — фикция. Правило простое: если приёмку нельзя проверить по самому тикету, задача не уходит агенту.
Смотреть на хвост распределения стоимости. Истории, которые сильно выбиваются по цене, это сигнал. Либо тикет оставил слишком много пространства для интерпретации, либо задача объективно большая. В одном из разборов выяснилось, что топ-10% по стоимости проходили через реализацию в среднем 7 раз против 3 у остальных. Частично это от того, что их чаще отправляли обратно, частично от того, что сами задачи крупнее.
Разбирать, где именно задача отскакивает. Из повторных проходов реализации примерно 55% случаются сразу после шага CI, 25% - после сравнения diff с критериями, 8% - после прогулки по стейджингу. То есть главный источник возвратов не неясные тикеты, а банально красный CI.
Проверять сами проверки. Это пока не сделано, но стало очевидным пробелом: если все три проверки работают по одному тикету, то неописанное в тикете ограничение не поймает никто. Простой способ это выявить: иногда подсовывать заведомо плохое изменение и смотреть, поймают ли его проверки.
Опыт этих десяти недель показывает главное: управление агентами - это не упрощенная версия управления людьми. Это другая работа с другими проблемами.
При управлении людьми время уходит на координацию, обратную связь и развитие. При управлении агентами время уходит на три вещи: написание точных спецификаций, проверку результатов и поддержание инструкций в актуальном состоянии. Код больше не является узким местом, поэтому и управленческое внимание перетекает туда, где остается неопределенность.
Если агенты пишут большую часть кода, как тренировать джуниоров? Ответа пока нет, но есть одна личная мысль: быстрее всего растут те, кто после сбоя чинит инструкции агентов. Потому что им приходится объяснять на простом языке, почему что-то пошло не так. Это, по сути, тот же постмортем, только написанный для агента.
А как вы оцениваете результаты автоматизации кодинга и передачи основной массы работы ИИ-агентам? Будет интересно послушать истории и других команд в комментах.

Комментарии к статье
А как они решают проблему, что агент может «согласиться» с плохим решением, если оно соответствует тикету? В коде легко получить формально рабочее решение, которое потом не масштабируется и не поддерживается
Грустнее всего про рост по грейдам: раньше растил джуна в тимлида, а теперь чини инструкции боту, который даже ошибок своих не помнит...