AI-ревью здорового человека

Главное за минуту

• С агентами пулреквестов стало в 4 раза больше, а раундов ревью на PR 2 вместо 2,6. В AI-шных PR примерно в 1,7 раза больше проблем, и чаще всего это BOLA: тесты зеленые, а владельца объекта никто не проверил.
• Ревью той же сессией, что писала код, это ревью курильщика: свои ошибки модели видят плохо. Ревьюить надо в свежей сессии, лучше другой моделью, и тесты к коду не должна писать сессия, которая его реализовала.
• Дифф с промптом еще не ревью. Нужны код-граф того, что зависит от изменения, связанные репозитории, тикет с definition of done, записанные договоренности команды и лернинги прошлых ревью, отобранные по приоритету в бюджет вызова.
• Ревью устроено как оркестрация из сотни маленьких вызовов с жесткими контрактами, а на сам вызов сильной модели приходится 12% токенов. Больше всего уходит на эксплор кодовой базы, экономят роутингом на маленькие модели, кешем и ревью только изменившегося.
• Главный враг здесь бесполезный коммент, а не пропущенный баг. После верификации и сведения в проде медиана один коммент, а 46% ревью молчат. Собрать такое можно за выходные, а содержать придется постоянно: эвалы на каждую новую модель, недели на промпты, шум тюнить каждую неделю.