Оркестрируем агентов для long-horizon задач

Как неделями держать команду агентов на одной большой задаче и получить результат, который устроит. Роли и аудитор, готовые инструкции координатору и исполнителю, борьба с reward hacking и кейс индексатора кода, который агенты писали три-четыре недели

Родион Мостовой

Основатель arai.build, архитектор CodeAlive

AI-Driven Development

Главное за минуту

Команда агентов нужна, когда задача вырастает до эпика: миграция, переписывание на другой язык, приложение под ключ. Сильная модель планирует и проверяет, пишут модели попроще, и результат уровня топовой модели выходит в десятки раз дешевле.

Сначала идут долгое исследование и спека, в которой уже решено, как проверять результат. Когда спека готова, агента просят найти, где переусложнили без повода.

Агент, которого прямо просили не хакать метрику, через день принес 100%: он подмешал эталон в найденные связи. Лазейки надо проговаривать явно и проверять сам способ, которым получен результат.

Раз в полчаса-час координатор зовет аудитора, сильную модель со свежим контекстом, и спрашивает, туда ли мы идем. Пока аудиторов не было, агенты, бывало, сутки-двое ходили по кругу.

Координатор ведет журнал плана и проверяет исполнителя в первую минуту после запуска, а исполнитель пишет отклонения в файл, чтобы не забыть их после компакции. Модели уровня Haiku и Luna я на код не ставлю, им остается исследование контекста.

Когда нужна команда

Новые сверхбольшие модели вроде Fable 5.2 и GPT-6 Astra очень хороши и очень быстро сжигают лимиты. Оркестрация для меня – способ получать результат их уровня в десятки раз дешевле: сильная модель планирует и проверяет, а руками работают модели попроще. Предтоповые Opus, Sol или Terra 6.1 и без всякой оркестрации дают неплохой результат, просто за ними придется много бебиситтить. Если вы готовы тратить на это свое время и внимание, команда агентов вам не нужна

Она нужна, когда задача вырастает от багфикса до эпика: большой рефакторинг или миграция, переписывание на другой язык (кстати, классная тенденция, ускорение бывает в десятки раз), приложение под ключ. Отдельный случай – разработка того, чем пользуются сами агенты, то есть MCP, скиллов и CLI. Там нужна куча экспериментов, и координатор может сутками гонять гипотезы, смотреть, где спотыкается другой агент, и улучшать по кругу.

Истории про агентов, которые работают десятками часов, на таких задачах не спасают даже с самыми топовыми моделями. Агент зацикливается, топчется на месте, делает ненужную работу, у нас агенты часами чинили окружение без всякого результата. Поэтому кто-то должен управлять. Когда мы ведем одного агента, мы уже менеджеры (факт, который не всем нравится), а когда у агента появляется команда субагентов, мы поднимаемся еще на ступень и становимся топ-менеджерами