Как выстроить AI-ядро организации и потерять все свои данные

Почему агент на компе сотрудника, централизованный Claude для всех и даже бот на сервере с правилами в AGENTS.md одинаково сливают данные, чем memory injection опаснее промпт-инъекции и как я строю ядро, где у каждого пользователя своя виртуалка, своя память и выход наружу только через шлюз с его правами. Я Chief AI Officer (должность придумал себе сам, кто мне запретит), раньше был CPO в Skyeng, а сейчас делаю AI-проекты

Глеб Кудрявцев

Основатель Карьерного Цеха, ex-CPO Skyeng

Глеб Кудрявцев — мастер AI

Главное за минуту

Ни агент на компе сотрудника, ни централизованный Claude для всех с прокси и общим LLM-шлюзом не защищают от инъекций и разрушительных действий, а от утечек защищают только постфактум.

Бот на сервере с правилами в AGENTS.md держится на нечетком разборе: LLM может пропустить кавычку, и цитата из письма станет для агента его собственной мыслью.

Memory injection опаснее промпт-инъекции: письмо оставляет закладку в памяти, а своей памяти агент доверяет. В исследовании 92% атак прошли эвристику, у 49% инструкция записалась в память, и в 93% случаев записанное потом исполнилось.

У каждого пользователя свой агент, своя виртуалка и память матрешкой: организация, проект, пользователь. Виртуалка засыпает на диск и через Firecracker поднимается из S3 за 300 мс.

Наружу агент выходит только через шлюз, который сверяет каждую команду с правами его пользователя в Keycloak или AD. На тех же рельсах любой бот, например ревьюер коммитов в GitHub, делается одним промптом.

ИИ приходит в компанию сам

В отличие от прошлого года, я почти не захожу в компании, где не знают, что такое ИИ. Кто-то чем-то уже пользуется, обычно открывает ChatGPT или DeepSeek в браузере и закидывает туда экселевские файлы. Спрашиваешь его, пробовал ли он Claude или Codex, и он делает круглые глаза: для него это все просто нейросети.

Дальше из уст в уста передается, что нейронка может не только отвечать, но и что-то делать. Те, кто насобачился, начинают искать, как законнектить это к своему компу, находят Claude Code или Codex и радостно ставят. Работают с экселем, натравливают агента на почту, а про инъекции и уровни доступа не знают. И мечтают, что вот бы еще их клод в 1С ходил, вот тут бы они развернулись. Сисадмины в этот момент очень часто предпочитают делать вид, что ничего не знают

Что тут может пойти не так. Во-первых, злонамеренные инъекции, в спаме и вообще в почте, от этого никто не застрахован. Банальные инъекции тренинг нейросеток научился фильтровать неплохо, но есть виды, где на всех фронтирных моделях прямо сейчас проходит 50% атак. Во-вторых, агент может просто отформатировать вам жесткий диск, потому что не поставил кавычки в команде. Бывает.