Свой инференс для агентов: почему очевидные решения проигрывают

Что на самом деле съедает GPU под агентами, почему балансировка по нагрузке убивает кеш и почему сначала надо чинить маршрутизацию, а уже потом покупать карты. На двух масштабах: игровые карты neuraldeep и крупный серверный инференс

Валерий Ковальский

Head of AI, Битрикс24

Валера Ковальский

Главное за минуту

Агенту хватает 20–30 токенов в секунду на выходе, зато на один токен ответа он в среднем читает 37 токенов входа. Время ответа решают чтение и кеш.

Если модель влезает в одну карту, две независимые копии лучше одной модели на двух картах: в neuraldeep это дало 232 → 466 ток/с. Сервер на 8 карт, поделенный на два по 4 с cache-aware роутером, сократил ожидание первого слова с 33 до 4 с.

Балансировка по нагрузке убивает кеш, а дата в начале системного промпта делает холодным весь префикс за ней. Одна починка маршрутизации, без новых карт, снизила TTFT p95 с 22 до 6–8 с.

Окно в миллион токенов нерабочее, точность там падает до 40%, поэтому я держусь в пределах 300–400 тысяч. Спекулятивку и кванты проверяю на своем трафике, а на общем пуле оставляю только официальные NVFP4 и FP8.

Когда агент тупит, модель почти никогда не виновата: ломаются коннект, буфер прокси, роутер или самописный сторож. Бенчмарк завышает скорость, смотреть надо на давление очереди и TTFT p95, а связывать продукт, шлюз и карты должен Head of Inference.

Я держу свой инференс neuraldeep примерно на 20 игровых 4090, с недавних пор отвечаю за AI в Битрикс24 и консультирую крупные компании, которые пытаются утилизировать H200 и B200. Масштабы совсем разные, а ошибки те же. Это для тех, кто держит свои GPU, думает уйти с API, потому что замучили блокировки, отвечает за агентов в компании или строит стартап, где экономика упирается в цену инференса. В медицине, юридических делах или с банковской тайной без локального инференса вообще не обойтись