AI ускорил разработку: как понять, что это правда

Почему METR, Microsoft и Anthropic получают про AI в разработке такие разные цифры, как мерить эффект на уровне компании, delivery и отдельной инициативы и почему сэкономленные часы еще не деньги. Взгляд человека, который последний год отвечал за AI4SDLC в Т-Банке

Александр Поломодов

Technical Director & Fellow (AI4SDLC Advocate)

Книжный куб

Главное за минуту

Ощущение ускорения ничего не доказывает: в исследовании METR разработчики ждали, что станут быстрее на четверть, а замедлились примерно на пятую часть. У METR, Microsoft и Anthropic разные цифры, потому что каждый измерял свое и в своих условиях.

Сначала выбирают границу измерения: вся компания от гипотезы до клиента, только delivery или одна инициатива. У процента внедрения должен быть знаменатель: те, у кого был доступ, и задачи, которые подходят под критерии.

Код стали писать быстрее, а end-to-end поток почти не вырос: задачи застревают на ревью, согласованиях и проверках. Заметный эффект был у команд, которые объединили discovery с delivery.

Сэкономленные часы еще не деньги. Денежный эффект есть, когда фича принесла деньги и без AI вы бы ее в этом году не выпустили. Если просто быстрее разгребать бэклог, в 10 раз больше фич дадут условно в 2 раза больше эффекта.

AI усиливает то, что уже есть. Команда с тестами и инженерными практиками получает больше пользы, а у команды без них выходит месиво, где вместо фич правят баги.

Если бы я не ушел из компании, где проработал 10 лет, то в конце года рассказывал бы, как у нас на самом деле поменялись метрики. Но я ушел, поэтому расскажу другую историю: сначала про три исследования, а потом про то, как мы подходили к измерению и как я на это смотрю сейчас