Человеческая сторона агентной разработки

Я большой фанат «Peopleware» ДеМарко и Листера, для меня это один из столпов литературы про технические команды. Книга до сих пор актуальна, а вот похожего набора практик для работы с агентами пока не хватает. Мы в самом начале пути, но набор проблем, паттернов и возможных решений уже сложился.

Году в 2022-м я был одним из первых пользователей Copilot в IDE от JetBrains, и уже тогда это казалось магией. А когда появился Claude Code и агента стало можно просто отпустить в кодовую базу, началась эйфория, от которой очень сложно отказаться. Давайте еще одну задачу, еще один эксперимент, и вот уже рассвет за окном. Я до сих пор не могу оторваться, и сильнее всего это бьет по сильным инженерам

Человек стал узким местом

Наш вид существует около 300 000 лет, письменность около 5000, компьютеры около 80, а агенты, по сути, 2 года. Эволюция за этим не успевает, так что странно надеяться, что все люди автоматически научатся хорошо работать с агентами

При этом физические ограничения никуда не делись. Осознанные решения мы принимаем со скоростью около 10 бит в секунду. Рабочая память – семь плюс-минус два элемента, а по некоторым современным исследованиям вообще четыре. Бдительность падает очень быстро (и это было еще до тиктоков), переключение стоит от минуты до 15 минут, а кого-то вопрос «как дела» выбивает на полдня. И нам все еще нужен сон, на котором держится обучение. Такой кожаный сидиз, его параметры почти не меняются.

На эти несдвигаемые ограничения мы набрасываем агентов, и человек очень быстро становится узким местом. Значит, менять придется процессы вокруг человека.

Рабочий день и кукушечка

Ожидания от агентов большие, но на деле это ожидания от людей, которые с ними работают. За один вечер можно пройти от любопытства к восторгу и азарту, а в конце не останется сил даже UI посмотреть. Разбор бага – вообще качели: агент тупит, потом облегчение, потом снова все сломалось, а он ушел не туда и наколбасил себе 1000 юнит-тестов вместо функционала. На горизонте нескольких месяцев бывают спады мотивации вплоть до апатии

Радость от результата, усталость и тревога за свое место могут накрывать в пределах одного часа. Это нормально, кризис самоидентификации будет проходить все человечество, так что вы тут не одни. Но давит оно все равно.

За этим стоит довольно понятная химия. Слайд можно заскринить и разобрать потом со своим агентом. Рекомендации оттуда банальные, и им крайне сложно следовать. Но это хардовая часть, поверх которой строится софтовая

Азарт против отдачи

В длинной сессии азарт тянет продолжать, а отдача постепенно падает. Его надо уметь ограничивать и смотреть на то, сколько работа дает, а не на то, насколько она драйвит

Замкнуть свою петлю

Агенту мы выстраиваем четкий цикл: действие, результат, исправление. Он сам проверяет свою работу и корректирует поведение. А свои состояния мы почему-то замечаем очень плохо. Вместо того чтобы увидеть усталость и перейти к восстановлению, берем еще одну задачу или переключаемся на другого агента ради дофамина. Фидбек-лупы для агентов строить, кажется, уже все научились, давайте и с собой так же

То же с телеметрией. Агентов мы обкладываем ею со всех сторон, анализируем трейсы и на этом принимаем решения. Спортсмен, увидев пульс выше обычного, снижает нагрузку. А за компьютером мы прекрасно знаем, что несколько ночей подряд спали мало, и ничего не делаем. Самое простое – завести ночных агентов, скинуть им задачи и идти спать. Не получается – заводите список на утро.

Усталость, которую не видно

Когда недосып копится две недели, пропуски в тесте внимания постоянно растут, хотя по ощущениям сонливости может и не быть. Вы чувствуете себя нормально, а ошибок все больше. И агенты с радостью следуют вашим неудачным решениям. Так что прежде чем кричать «о боже, кто-то понерфил модель», проверьте, не свалились ли вы сами в состояние плохих решений

Раньше неудачное решение долго исполнялось, и можно было несколько раз передумать. Сейчас агенты быстро его имплементируют, оно быстро доезжает до прода, а что дальше, никто не знает. Я вообще за то, чтобы на некоторые решения давать допуск, как медосмотр в начале дня.

Работа, которая давала передышку

Привычный день: блок планирования, который сильно грузит голову, потом поток, где ты программируешь, дебажишь, чему-то учишься. По Чиксентмихайи это состояние оптимального переживания: мозг получает достаточную нагрузку, но сильно ты не напрягаешься. С агентами потока просто не стало. Код, ненапряжный дебаг и рефакторинг забрали агенты, а освободившееся время заполнили решения, планирование, ревью и проектирование

Раньше говорили, что хорошо, если программист работает 4 часа в день. Теперь будет хорошо, если 2. Если заполнить день решениями для агентов, к вечеру мозг выжжен, и у этого уже есть название, AI brain fry.

Сверху давят новости, особенно каналы, где каждый день пишут, что программисты больше не нужны. В псковской летописи за целый год одна запись: в церковь зашла коза, ее вытащили, а еще зашла лошадь. А сколько событий мы видим за утро в Telegram?

Читайте меньше каналов, иногда закрывайте ленту, а от алгоритмических лент откажитесь совсем, хуже для мозга ничего нет. Громкие эмоциональные анонсы лучше не читать. Читайте тех, кто пишет обстоятельно и спокойно, такой антихайп. Если случится что-то по-настоящему важное, они тоже напишут.

Спорт – это налог

Нужно занятие, которое хотя бы на час в день займет руки, ноги и голову, чтобы вы жестко отвлеклись от всего. Не заняты руки – возьмете телефон и пойдете гонять агента в облаке. Не занята голова – будете думать, как запустить еще один пайплайн или самооптимизирующийся цикл. Универсального занятия нет, лучше подобрать несколько

Некоторые называют спорт мультипликатором эффективности. Я отношусь к нему как к налогу. С возрастом процент растет, а если не платить, прилетают штрафы, и они вам очень не понравятся. Так что платите методично и спокойно.

И последнее про день – условие остановки. Агентам мы почему-то описываем критерии приемки, а себе жесткую отсечку придумать не можем

Процесс под человека

Многие говорят, что правильное внедрение – это построить процессы. На бумаге здорово, но почему одни процессы ложатся на людей, а другие люди не принимают?

Начнем с того, что агенты – это другой интеллект. Мы дали ему понятный человеку интерфейс, но некоторые математики, глядя на решения задач от OpenAI, называют его инопланетным. Готовых практик работы с таким интеллектом нет, так что надо понимать, где именно он отличается от нас в ваших задачах

Неравенство и ИИ-вытрезвитель

Те, кто методично собирает практики и адаптирует под себя, иногда улетают так далеко, что остальные перестают их понимать. Подтягивать остальных надо руками тех, кто улетел, а неравенство минимизировать в пределах компании и даже конкретной команды

Еще есть две когорты. ИИ-скептики говорят, что ничего не работает, опьяненные ИИ – что люди больше не нужны. Обоих надо отправлять в ИИ-школу, а особо опьяненных сначала в вытрезвитель. Там им покажут ошибки в архитектуре, которые копятся со временем, посчитают стоимость переделки и объяснят, кто отвечает за результат. Одно удачное демо – не повод пугать команду, что ее пора разогнать.

Чужие космолеты

Новичок, который просто хотел сделать фичу, сразу получает на голову кучу методологий. Если для элементарной задачи он выберет какой-нибудь BMAD, прости господи, он может больше никогда не вернуться к агентам и уйти из профессии пасти гусей

Чужой космолет вам может не подойти, потому что он завязан на человеческие особенности: цену переключений, готовность ждать агента, потребность в обратной связи, ритм жизни. Единый процесс на всю организацию с единым агентом и единым харнесом – фантастика. В эпоху кастомизации процессы можно делать под людей, нужно только согласовать интерфейсы передачи артефактов между этапами. Иначе получается «терпи, сова».

Люди и решения принимают по-разному. Кто-то идет вширь и слоями спускается к решению, кто-то вглубь, а кто-то рандомно, и все приходят к одному результату. Выбор между SDD и интерактивным чатиком может объясняться просто ходом мысли

Сколько решений доходит до человека

Когда у тебя штук 10 агентов, не каждый удержит эту картину, которая постоянно шевелится и требует внимания. Нужен либо довольно уникальный набор навыков, либо меньше информации на человека

Логичный ход – переносить часть ответственности на агентов. Вы строите систему, где агенты на основе ваших правил, границ и проверок решают сами, и до человека доходит только самое критичное.

Процесс у каждого свой

Я настаиваю, что процесс должен быть разным в зависимости от человека. Кому-то нужен тесный интерактив, когда задача решается в чате линейно, без планирования. Кто-то планирует большой блок, отдает агентам на полдня или несколько дней и в это время отдыхает, потому что постановка задачи сама по себе напряжная. А кому-то нормально как Питеру Штайнбергеру: 20 агентов на огромной панели, и бегаешь между ними, как в игре, где кротов бьют киянкой. Если вы достигаете результата, выбирайте свой процесс

Я, например, могу один день посвятить проектированию, а другой реализации, и сознательно ограничил число агентов, работающих одновременно. А еще строю панельки, где видно статус агентов и не требует ли кто-то внимания. Остальное со слайда тоже кто-то из комьюнити практикует.

10x в долг

Первое время люди с агентами действительно могут показывать 10x. Потом они устают, а начальство решает, что теперь так и будем ставить метрики. Только 10x был получен в прыжке, за счет состояния проекта и инфраструктуры для агентов, выстроенной на старте, чаще всего на гринфилде. Когда результат оказывается ниже плана, к вам появляются вопросы

Эти 10x очень часто идут в долг. По тому, что я вижу, такая работа идет вспышками, потому что нужные условия складываются нечасто. Держать 10x долго требует серьезной перестройки, и не факт, что получится, ведь много решений все еще упирается в людей. Да и сам большой результат бывает за счет эффективности, за счет того, что люди больше работают и сильнее напрягаются, или просто за счет переноса работы на другой этап.

Я уже запилил 90%

Кто-то запилил продукт на выходных и прибегает к команде с вот такими глазами: осталось чуть-чуть. А команде это надо интегрировать, проверить, пофиксить наивную архитектуру, подвести инфраструктуру, перенести данные, обучить пользователей и запустить. Первые 90% требуют еще 90% доработки, и хорошо, если 90, а не 900. Так было и до агентов. Ну камон

На сверхсветовой – в желе

С агентами мы на дофамине летим, а потом влетаем в медленную область: митинги, согласования, ожидание соседней команды. В некоторых командах полный прогон тестов занимает день. После скоростей агентов к такому адаптироваться тяжело, и человек скажет «да и ладно, пойду еще кода напишу». И зальет вам еще 10 000 строк пулреквестов, потому что с агентами веселее

Такие медленные области надо оптимизировать, чтобы люди, которые умеют работать с агентами, тратили время на это. Если, конечно, их результат конвертируется в бизнес-результат.

Отчет на 10 страниц

Моя самая ненавистная практика – бросить в человека отчет на 10 страниц, который сгенерил агент, и сказать «вот аналитика, читай». У людей короткое окно восприятия, особенно если там полно нейрослов. И поди пойми, что пришло от человека, а что нагаллюцинировала нейронка

Выделяйте то ключевое, что пришло конкретно от вас, чтобы исходная мысль не превратилась в 10 абзацев. Я хочу видеть оригинальную мысль, можно мне источник? Ну или хотя бы суммаризируйте под контекстное окно того, кому передаете. 3 года назад я шутил, что у агентов контекстное окно слишком маленькое, а теперь можно шутить в обратную сторону. Берегите контекст других людей.

Что остается человеку

Для работы с агентами нужен нетривиальный набор скиллов, и даже у одного человека он складывается не каждый день. Толерантности хоть как-то тренируются, а вот оценивать решения агента тяжело, и вкус формируется годами

Поэтому годы опыта плюс агенты поверх – сочетание удачнее, чем наоборот. Это не догма, продакты сейчас делают неплохие продукты чисто с агентами, но чуйка все равно нужна. Научить человека работать с агентами гораздо проще, чем дать ему годы опыта. Мантра «уволим всех и наймем новых» упрется ровно в это, так что лучше обучить тех, кто есть.

От руководителя нужно беречь время и внимание людей и замечать тех, кто начал слишком много работать и выгорать. И не превращать кратковременный пик в 10x в норму для всех

Не становиться мясным прокси

За человеком остаются понимание и принятие решений. Не надо сваливаться в cognitive surrender, когда ответы агента принимаются за свои без рефлексии и проверок. И не надо становиться мясным прокси, который пересылает решения между агентом и командой

Когнитивный долг (cognitive debt) будет расти, и кажется, это уже фича. Нужно хотя бы сохранять общее понимание и сжимать его в набор сигналов, которые помещаются в ваше окно внимания. Понимать мы будем все меньше, но ключевое обязаны. Ответственность за результат пока остается за человеком, но часть уже можно перекладывать на агентов.

Радость теперь в результате

Мне всегда было приятно писать код, у JetBrains даже была серия IDE под слоганом Develop with Pleasure. С агентами исполнение проседает, а наваливаются планирование и верификация, ради которых многие в профессию не шли. Спасает переключение на результат, который за счет автоматизации получается сильно больше. Смотрите на результат, это важнее всего остального.

Красота из чистых звенящих конструкций и красивых алгоритмов никуда не делась, просто уровни абстракции повышаются. В архитектуре тоже можно отличить красивое решение от некрасивого. Дальше интересно строить гибридные команды из людей и агентов, а потом автономные агентные системы, и некоторые уже этим занимаются. Там совсем другие инженерные задачи, но им все еще нужны чуйка, насмотренность и ментальные модели, которые сложились за 20–40 лет программирования

Когда пинает FOMO

Если гонит FOMO и страх, что компетенции больше не эксклюзивные, и ради агентов скипаешь спорт и сон, то начну с того, что ИИ, как когда-то Кольт, работает уравнителем, Альтман людей тоже в каком-то смысле уравнял. Но останутся скиллы, которые не будут захвачены: ваш вкус, авторское видение, способность двигаться к цели, которую вы выбрали сами, и доводить свою задумку до авторского результата. Ищите, чем вы выгодно отличаетесь, и опирайтесь на опыт. Посмотрите на несколько даже хороших продуктов, собранных чисто агентами, и заметите повторяющиеся паттерны. Все мы видели нейрослоп, и он неплохо детектится.

А чтобы не заставлять себя каждый день, выберите ось, вокруг которой крутится все остальное. У меня это тренировки: болею я или завал по работе, в неделю есть 2–4 тренировки, которые неубираемы. Вокруг них выстраиваются сон, питание и режим, потому что плохо выспался – и тренировка провалится. Чем больше таких вещей, тем лучше они заземляют в реальность. Только прорасти это должно изнутри

Не обязательно осваивать все сразу, похожие переживания сейчас у многих. Берегите кукушечку, свою и людей, с которыми работаете.

Мой канал: Этихлид