Дорогие обвязки делают кодинг-агентов дороже, но не лучше, показало исследование

Главный смысл: Усложнение программной обвязки ИИ-агента для написания кода не обязательно улучшает результат, но может заметно увеличить расходы. По данным исследования, описанного The Decoder, при неизменной модели различия между обвязками зачастую сопоставимы со случайным разбросом повторных запусков, а стоимость задачи может различаться втрое.

• Что сравнивали. Два исследователя из Шаньдунского университета проверили пять моделей в Claude Code, OpenCode и минималистичном mini-SWE-agent, которому доступен только Bash. Использовали 45 самых сложных задач SWE-bench Verified и дополнительный набор из 447 задач; часть конфигураций запускали повторно для оценки случайных колебаний.
• Прирост трудно отделить от шума. На большом наборе Claude Code и mini-SWE-agent различались менее чем на два процентных пункта у обеих проверенных моделей. При повторном запуске одной конфигурации результат менялся у 13% задач — столько же, сколько при смене обвязки. OpenCode оказался исключением: он отставал до девяти пунктов, причём часть разрыва авторы связали с обработкой ограничения длины ответа.
• Дорогими оказались инструкции. Системный промпт и описания инструментов занимали около 16 600 токенов у Claude Code, 7 000 у OpenCode и менее 1 000 у mini-SWE-agent. Они передаются на каждом шаге. Однако короткие инструкции не гарантировали экономии: с Deepseek-V4-Flash дополнительные шаги минималистичного агента свели преимущество на нет.
• Интернет исказил предварительные тесты. В 71% попыток моделей Deepseek и Qwen с доступом к сети готовое исправление находилось на GitHub. Эти результаты исключили, дальнейшие испытания проводили без интернета. Авторы не считают это доказательством обучения на тестовых данных.

Что дальше: Полезнее сравнивать не рекламные баллы, а повторяемость результатов и стоимость успешно решённой задачи. Вывод пока нельзя переносить на все рабочие сценарии: исследование опирается преимущественно на один бенчмарк, а Opus 5 проверяли только в Claude Code. Нужны независимые повторы с одинаковыми лимитами времени и отдельная проверка влияния режима рассуждений.