Дешевые модели кодируют быстрее, чем умные. Программист отказался от флагманов и сэкономил на API

Программист, чью историю мы нашли на Reddit, решил переоценить свой выбор инструментов во время отпуска. И обнаружил неожиданное: самые дорогие и самые «умные» модели AI не обязательно дают лучший результат для кодирования. Более того, они могут быть просто неэффективны для рутинной работы, если задача изначально хорошо сформулирована.

Метрика, которую все пропустили

Автор истории обратил внимание на малоизвестный бенчмарк — Cost per Task, стоимость выполнения одной задачи. Идея проста: модели тестируют не на абстрактных примерах, а на реальных, хорошо сформулированных заданиях и считают, сколько токенов потребуется для решения.

Разница оказалась ошеломляющей. GPT-5.6 Luna обходится в $0,18 за выполненную задачу, тогда как флагман GPT-6 Astra стоит $3,26. Разница в двадцать раз. Для сравнения: Luna имеет Artificial Analysis Intelligence Index 38, а Astra — 53 балла. По обычным метрикам «умности» Astra выглядит явным победителем. По метрике стоимости реальной работы она просто дорогая.

Программист решил проверить это на практике и переключился на самую «тупую» модель из линейки Luna. На план в $20 в месяц он раньше постоянно упирался в лимиты за пять часов. С Luna этого не произошло.

Когда продвинутость модели перестает иметь смысл

Здесь появляется важное уточнение из обсуждения в комментариях: разница в эффективности сильно зависит от качества исходной задачи. Если вы просто закидываете в чат неформализованный запрос — дорогая модель может сэкономить вам время на переделки. Но если задача уже хорошо описана, содержит достаточно деталей и контекста, более дешевая модель справляется ничем не хуже.

Подкованный программист, по наблюдению автора, меньше нуждается в интеллектуальной помощи модели: он сам может сформулировать задачу так, чтобы даже не очень умная система её выполнила правильно. Напротив, начинающие разработчики часто полагаются на дорогие модели, чтобы те разобрались в их расплывчатых запросах — и это действительно работает, но только стоит дорого.

Скорость как новая валюта

Но дешевизну Luna портит другая проблема: скорость. При использовании платформ вроде DeepInfra и OpenRouter типичная скорость генерации составляет 25-50 токенов в секунду. Luna в режиме агента обычно тратит 5-15 минут на выполнение одной задачи. Это мучительно долго для интерактивной работы.

Когда программист переключился на DeepSeek-V4.1-Flash напрямую через API компании, скорость подскочила до 300 токенов в секунду. Та же задача теперь решается менее чем за минуту, сложная — за пять минут вместо пятнадцати.

Этот параметр меняет всю экономику. Рабочий процесс становится интерактивным: вы заведёте задачу и почти сразу получаете результат на проверку. Это удобство стоит больше, чем цена токенов. К слову, у DeepSeek-V4.1-Flash интеллектуальный индекс 40 — всего на два пункта выше Luna, но скорость в шесть раз выше.

Проблема, которую никто не ожидал

Пока дорогие модели соревновались в уме, а дешевые в стоимости, сам процесс выполнения задач обнаружил невидимый враг: переполнение контекста.

На практике агент часто повторяет одно и то же. Вроде: он читает репозиторий, документацию проекта, понимает правила кодирования, начинает выполнять задачу — и вот уже контекстное окно переполнено. Новая задача заставляет его забыть всё выученное и начать заново. Результат: восемьдесят процентов работы уходит на повторное изучение проекта, только двадцать — на реальное решение задачи.

Кажется логичным, что решение — ещё большее контекстное окно. Так и говорили месяц назад: «У нас 65 тысяч токенов!» «У нас 250 тысяч!» «А у нас миллион!» Но большие окна просто переносят проблему. Нужно совсем другое.

Что нужно на самом деле

Вместо бесконечного расширения контекста нужна долговременная память агента — то, что уже называют stateful LLM. Такая модель не начинала бы каждый раз с нуля, а накапливала бы понимание проекта по мере работы. Контекстное окно оставалось бы конечным, но полезным.

По словам автора, над этим уже работают несколько команд. И рынок к этому готов.

Побочные открытия про инструменты

В процессе переоценки программист заметил ещё кое-что. Когда умная модель перестала быть обязательна, отпала и необходимость в мощных IDE. Он отказался от подписки JetBrains и перешёл на бесплатный Zed с похожими горячими клавишами. IDE теперь нужен только для просмотра дифов и навигации по коду.

Однако более важное открытие касалось раздутых интерфейсов кодирования. Когда программист тестировал Codex и Claude Code, он заметил, что они потребляют гораздо больше контекста на простой запрос — 30 тысяч и 18 тысяч токенов соответственно против 3 тысяч в минималистичном harness. Причина: лишние инструменты. Даже если модель их не использует, она должна держать описание каждого в памяти. Это засоряет контекст и отвлекает модель от собственно задачи.

Один из комментаторов обратил внимание на подобное явление: инструмент с узкой специализацией и чистыми интерфейсами часто работает эффективнее, чем швейцарский нож с тридцатью функциями. Шум мешает модели сосредоточиться.

Где мы сейчас

По мнению автора, гонка на создание более умных моделей подходит к концу. Даже самые дешевые и простые модели стали достаточно сильными для хорошо сформулированных задач. Для опытного программиста их вполне хватает.

Сейчас борьба переместилась на три фронта: скорость инференса, стоимость выполнения реальной задачи (не теоретической) и архитектура самого агента.

Пока китайские модели, особенно DeepSeek, выигрывают в скорости. Но, как отмечает автор, у американских провайдеров в запасе есть сюрпризы. OpenAI готовит дата-центры со скоростью в тысячи токенов в секунду. Anthropic, похоже, отстает в этой гонке.

Итог: через пару месяцев программисты смогут задать сложную задачу и получить результат не за пять минут, а за 10-30 секунд. Когда вы еще проговариваете идею вслух, ответ уже лежит в папке готовый к ревью.