Как дать агенту доступ к вашему продукту: MCP, Skills и CLI — Александр Поляков — https://youtu.be/LQMnLSVLOBU [00:00] А мы потихоньку будем двигаться дальше. У нас сейчас будет выступать Саша Поляков. Я вчера на своём докладе сказал, что мне будет очень интересно послушать его доклад. Потому что я столкнулся с огромным количеством болей интеграции MCP в свои продукты и там сила решений в свои продукты. Мне жутко интересно послушать внешний опыт человека, который тоже с этим сталкивался и тоже это решал. Передаю тебе слово, Саш. >> Привет. Привет, Данил. Привет все. А-а, как слышно? [00:31] Всё хорошо? >> Да, всё отлично. >> Отлично. А-а, да, на самом деле у меня даже сейчас будет, наверное, такая ключевая мысль, э, вокруг доклада, что когда ты делаешь какую-то интеграцию для агентов, то чтобы её сделать гладко, такое ощущение, что ты вынужден находиться на каком-то там четырёхмерном гиперкубе, а когда тебе нужно следить, а, и за тем, как они там тулы выводят, и за тем, какие у них правила на там количество инструкций, [01:01] которые в контекст кладут. Тебе нужно помнить о всех харнесах, следить за тем, как куда двинулась спецификация, потому что она тоже на месте не стоит. Например, я даже часть доклада сегодня будет про MCP, и даже, наверное, в большей степени где-то буду касаться MCP. И, например, MCP этим летом очень изменился, и он сказал, что он теперь стал гарантированно statтless. То есть это он теперь не сам MCP host не хранит а данные сессии. [01:32] Но при этом я знаю несколько клиентов, а особенно такие, которые корпораты корпорации какие-то разработали у себя внутри, а в которых до сих пор работает stateful реализация. И как бы держать в голове, а где будут запускать твоих агентов, как с ними будут работать? А нужно всегда, если ты издаёшь MCP, если ты просто публикуешь какие-то скилы. Сейчас я выведу экран. Аа секунду. [02:06] Так должно быть видно. А, ну что, а вообще я по своей природе 20 лет работаю в продукте где-то. Из них ещё 15 у меня рекламные агентство и веб-студия. И вот что интересно, мы, значит, э много-много лет можем в каких-то продуктах а работать над тем, чтобы усовершенствовать UIUX, сделать так, чтобы кнопки были лучше, следить за конверсией. [02:37] И вот буквально в этом году так стало получа происходить, что к нам стали приходить не только а люди из браузеров, но и некоторые другие сущности, которым на самом деле на интерфейс плевать. А у них есть задача, они эту задачу должны каким-то образом выполнить. Аа там, где для них задача непонятна, они придумают, как её выполнить. Может быть, где-то обойдут, может быть, где-то хакнут систему. И в общем эти ребята зовут её агентами. [03:08] И в этом году мой путь вот в эту автоматизацию начался с того, что где-то зимой я услышал, как в чате ребята рассказывали, что вот мы, чтобы партить Wordstat, сделали там браузер use через Playri, там запросы вводим и вот собираем там семантическое ядро для проектов. Это какой-то чатик маркетологов был. И тут я такой подумал: "Ага, а что если скил написать?" пишу скил, публикую в канал. И с этой публикацией у меня там около тысячи репостов. Я такой думаю: "Ого, ни фига себе". [03:39] То есть люди этим пользуются. И мне пришёл такой фидбэк, типа спасибо за скилл, он очень удобный, классно, как кто-то приходил, как подключить. Я решил, в общем, написать, э, полный маркетинговый аа репозиторий со всеми скилами Яндекса, которые только есть. И в общем, он набрал там 200 с лишним звёздочек в гитхабе. И периодически проскальзывают сообщение, что вот мы этим пользуемся. Действительно, поэтому теперь Яндекс-директом управляют не только люди, но и агенты. [04:10] На сайты ходят не только люди, но и агенты. Меня зовут Александр Поляков. А я работаю руководителем разработки в AI. А мы занимаемся обучением, а команд использованию искусственного интеллекта. последний год у нас достаточно часто происходят лаборатории, то есть когда после того, как команда прослушала курс, а то они начинают имплементировать какие-то ноу-хау у себя в бизнес-процессы. И вот, собственно, я руковожу такими этими лабораториями. [04:41] А интересно то, что очень популярный кейс когда два участника из соседних отделов внезапно начинают размышлять. Это вот буквально позавчера у нас была одна из лабораторий, где пять команд начали думать, как им подружить своих агентов с результатами работы друг друга. Грубо говоря, там команда ассортиментного планирования начала думать, как им получить обратную связь об а продукции э и у другой команды. И также в этом году мы выпустили [05:11] с командой Ту -Т а MCP для агентной коммерции. А, кстати, по-моему, вчера или позавчера Open читался о том, что они купили компанию, которая занимается планированием путешествий. А, то есть что-то там они в в эту сторону тоже думают. Наверное, а туризм - это действительно хорошее направление для агентов. А, скажу прямо, мы вот едем через несколько дней в Санкт-Петербург, и вот позавчера я натравливал своего агента для того, чтобы он не нашёл, в каком отеле нам остановиться, [05:41] чтобы было удобно и с ребёнком, и с няней там, и никаких, э, проблем не было. И в данном кейсе круто то, что агент невероятно хорошо понимает мои предпочтения, сколько нам нужно там квадратных метров, как мы хотим размещаться, где нам будет удобно, где нет. смотрит какие-то особенности проживания в отеле, где что-то можно, что нельзя. Поэтому это, в общем, внушает такое доверие в агентную коммерцию. И в целом то, что мы сейчас имеем - это некоторые наборы чатов. [06:14] Э у нас есть живой ассистент, например, то есть есть девушка Гульна, с которой мы можем задать какие-то задачи. И в общем-то уже существуют боты, которые позволяют сделать тоже какие-то задачки. И очень хочется, чтобы, а, у нас была возможность как можно больше сервисов, а, вот нашим и агентам дать. А-а, куда агенты пока не дошли? Аа не дошли они, [06:45] например, в здравоохранение. На самом деле много куда. То есть я сегодня по презентации буду касаться и вопросов. Туда бы мне очень хотелось, чтобы был открытый флоу для того, чтобы мой там openкoger MES или что угодно, может быть, даже что-то на гигачате могло взять посмотреть окошки, составить расписание, подружиться с моим календарём, записать к врачу и, в общем-то, всё это сделать безопасно, без каких-то рисков утечеков. А параллельно есть огромное количество а направлений, [07:15] которые базируются на некотором знании либо на рутинном интерфейсе. Ну вот, например, самый популярный у меня лично - это Яндекс-метрика. Я за последний год вообще перестал ходить в Яндекс-метрику как в интерфейс. Я хожу туда только через агентов, потому что наборы команд, которые агенты могут сделать там, оно они гораздо интереснее, чем то, что я могу натыкать там по экрану, а и по идобрать фильтры. А агент мне сразу возьмёт, даст детальный отчёт и возможно даже за 5 минут во время зумсозвона. А [07:46] как пустить агента в EМАЗ, а ну или куда-нибудь, может быть, даже в Роскомнадзор. И на самом деле, так как официального API нету, у нас остаётся только браузер. И, собственно, это тот путь, с которого я и начал свой разбор возможных интеграций иишки и сервисов. А как я говорил, что я увидел в чате, что люди пользуются там вордстатом через компьютерus, но есть проблема, что если мы будем пытаться использовать просто браузер, а то, во-первых, будет периодически слетать в ход. [08:18] И это значит, что в какой-то момент, когда тебе срочносрочно нужно будет выполнить какую-то задачу, а ты просто не сможешь эту задачу решить. тебе нужно будет отвлекаться, авторизовываться, там что-то как-то ещё, а, решать. Если вдруг на сайте поменяется структура или что-то там сро срочно изменится, нужно будет как-то, а, какими-то инструкциями всё это править. И самое главное, такой подход на самом деле не очень безопасен с точки зрения, а, пользовательских данных. Вот когда мы готовились к конференции, один из вопросов в чате у меня под постом с анонсом [08:51] был про то, а как вообще работать с учётом 152 ФЗ и так далее. Я сегодня коснусь этого вопроса. И самое интересное, вот с точки зрения здравоохранения, я когда начал этот доклад писать, я решил посмотреть, а сколько вообще есть репозиториев, которые уже позволяют агентам а пользоваться какими-то записями в крачу. И оказалось, что расширение уже есть. То есть некоторые энтузиасты берут, рассказываю, раскрывают, как выглядит апишка Ямиаса, [09:22] кладут туда какую-то куку или что-то ещё и в принципе позволяют, э, делать всё то же самое, просто немного в чёрную. А есть ещё в Питере тоже API горздраво. Я специально смотрел такие репозитории, в которых обновления, в принципе, доставляются регулярно. И в общем-то основная такая мысль, что агенты-то придут в продукт, потому что сам по себе агент- это очень удобно и практично. Он знает мои предпочтение и вообще классный. А вопрос просто как мы можем открыть ему дверь как сервис, [09:55] и это клёво. То есть мы можем взять, выпустить MCP или CLA или что-то ещё, а можем дождаться, когда к нам агент придёт через окно. А единственная проблема, что если кто-то входит к вам домой через окно, он, возможно, там может как увидеть что-то, что не должен был, а передвинуть что-то, как не должно было стоять и вообще, может быть, пошуметь. Вот. И вам это может иногда не понравиться. А, поэтому давайте разберёмся, какая вообще польза от того, что мы агентов пустим. И, кстати, я встречал [10:26] возражение в том же самом трейде с анонсом, что вот агенты - это такие ребята, которые возьмут и сделают неравную конкуренцию. Якобы, а, якобы пользователь может взять и заставить агента занимать все свободные окошки там в Ямиасе. И, собственно, ничего хорошего из этого не выйдет. А я считаю, что это всё можно обойти инструкциями или рейд-лимитами. И об этом я тоже сегодня с вами поговорю. А главное, что можно получить полезного от того, что мы дадим агенту [10:57] использовать наши сервисы, это то, что мы можем немножко подсказывать ему, как лучше работать с с нашим сервисом. Ну, условно говоря. То есть можно подписать его на email ра-рассылку, а можно предложить пользователю зарегистрироваться в бонусной программе. Это то, что обычно продавцы там какие-нибудь могут делать, просить карточку выпустить. И возможно, что агент-то как раз будет тем лицом, который зарегистрирует пользователя, потому что ему ввести телефон там и какие-то данные не так сложно. Аа возможно, что это удобный способ для того, чтобы процессить [11:30] обмен, возврат или что-то ещё. И в целом честные инструкции, которые мы можем передавать агенту для того, чтобы по тому, как он должен пользоваться нашим сервисом, это тоже некоторая защита от обьюза, от того, что агенты придут и начнут творить у нас какую-то вакханалию. И вот, э, в MCP-ту мы уже так сделали. То есть ты просто пишешь ему запрос, что хочу там куда-то поехать, там в Питер или что-то ещё. Он ищет билеты, [12:01] места, исходя из твоих предпочтений, и дальше просто отправляет тебя: "Всё, вот тебе, я всё сделал, иди покупай". И вроде бы это очень удобно. А я сделал немного серый, а, серую интеграцию работы с ОПЕ управляющей компанией в моём доме, потому что у нас настолько неудобное приложение, э, управляющей компании, где нужно восемь экранов прожать, чтобы заказать там паркинг. И самое интересное, что если ты хочешь 3 часа паркинга, тебе нужно [12:32] три раза пройти этот флоу. Ты на оди час типа заказываешь. Вот. И неудобно следить за какими-то новостями. Поэтому я взял, сделал, посмотрел их опишку и сделал агенту MCP, который позволяет ему смотреть, какие новости, как можно пользоваться какими-то сервисами, заказывать пропуска курьерам. Интегрировал это всё с Вкусвилом, потому что мы также и там заказываем еду. И в общем, было бы клёво, чтобы мы могли к врачу записываться точно так же. А взяли, посмотрели, когда есть свободное окошки, выбрали, что [13:06] у нас в календаре вот на это время свободное место, и записали к какому-то педиатру. А если же агенты будут работать в серую, то мы уже можем читать в новостях такие прецеденты. Вот совсем недавно было, когда мужчина в Австралии решил записаться на тренировку. Мест не было, агент взял, всех выписал. оттуда его одного записал и, в общем, а репутацией заплатил в конечном счёте фитнес-клуб. А поэтому э на мой взгляд, э [13:36] подход, когда мы дадим агенту IP или просто инструкции того, как работать - это хороший способ для того, чтобы зарегулировать этот этот рынок. Потому что, если люди будут удобно подключать агентов к себе, а, в харнесы, если агентам будет понятно, как ими этим пользоваться, то количество злоупотреблений сервисами со стороны агентов будет будет ниже. И плюсом ещё, а, так как агенты немного наивные, а то иногда [14:06] с помощью хороших инструкций им можно объяснять предпочтительное поведение. А теперь, наверное, самое главное - это интерфейс. Как же мы будем интегрироваться? И когда мы готовились, мне Коля сказал: "Блин, как же мне интересно послушать твой доклад, потому что в целом я к MCP не очень отношусь". Вот. А и даже когда мы выпускали MCP-Т, в комментариях к анонсу было: "А что вы не CLI выпустили? [14:38] А почему там не skкил?" А зачем вообще это всё, если можно там просто всю опишку отдать, там агенты сами разберутся, как это делать. А вот давайте поговорим а на это. Вообще, когда я говорю про то, что бизнесу нужно давать какой-то MCP, то я подразумеваю, что это должен быть всегда удалённый сервер. Потому что если мы будем говорить про локальный MCP, то вот эта штука действительно отстой. И изначально, когда антропики презентовали [15:10] Model Contex протокол, то первые интеграции, которые я вот помню, были, это был MCP Gitub, который нужно было как-то локально там запустить. И, в общем-то, а это это прописать что-то в настройках, это было очень неудобно. А в этом плане, например, GitHub Cle, который с помощью которого агенты пользуются гитхабом- это офигенно удобная утилита. Она позволяет взять сразу запустить э [15:41] команду в терминале, если у агента есть к нему доступ. И, в общем, всё будет очень гладко и удобно. И, как правило, когда мы разговариваем о том, как бизнесу стоит э передавать агентам доступ, у нас есть выбор из трёх вариантов. Это как бы MCP, CLI и Skill. Есть ещё такая штука, как плагин, которая в себе сразу объединяет и skкила, и MCP. О ней я чуть позже расскажу. И, наверное, это самый удобный способ, но он несёт те же самые недостатки, которые несёт в себе и skкил. [16:13] Все автоматизации, вроде там браузер юзаer, скрипты, всякие эмуляции на странице, это очень не это очень ненадёжно и, в общем-то, потенциальное пространство для ошибок. Я рекомендую выбирать по таким вот вопросам. В первую очередь для того, чтобы решить, что мы будем делать, MCP или Skill, я рекомендую посмотреть на то, где будет жить агент. Тот агент, который, вероятнее всего, или статистически [16:43] там как-то вероят вероятно будет пользоваться вашим сервисом. Вот если агент живёт где-то в телефоне, а, возможно, это приложение какой-нибудь облачный чатик, то на самом деле у нас ничего кроме MCP-то и не остаётся, потому что возможности поставить программу, а, и запустить к ней программную утилиту у нас весьма ограничена. Например, если я не ошибаюсь, в кодексе до сих пор не в чате GPT, который чат обычный, до сих пор так и нельзя а ничего поставить в терминал. [17:14] И возможно это как-то изменится, когда у нас всё это всё царство переедет в режим work, а где может быть будет какой-то виртуальный компьютер вместе с Dots. А Skill тоже а может содержать какие-то зависимости от э какие-то внешние зависимости, какие-то другие пакеты, которые надо поставить. И их тоже можно, может быть, неудобно как-то доставлять в среду. Поэтому, если у нас агент живёт где-то удалённо на каком-то устройстве в виде приложеньки, [17:44] то значит, что, в принципе, кроме MCP нам ничего и не остаётся. А вот если наш продукт - это программа, то к ней логичнее выпускать CLI. А таким же образом, например, поступили в Гитхабе. То есть GitHub - это программа, GХ - это утилита, и к ней идёт собственно CLI и работает. То же самое есть Blender CLI. Блендер программа, к ней идёт консольная утилита у ФигMC, потому что Фигма - это облачный сервис. [18:14] А, и есть ещё один важный момент, что если работа с вашим сервисом подразумевает большой набор инструкций, то лучше всего использовать скилы, потому что правила, по которым различные харнесы обрезают инструкции сервера, а они, ну, можно сказать, недетерминированы. Если вы знаете, что у вас за среда, типа там OpenCД, например, точно не порежет инструкции. Все остальные, э, способы передать агенту МCшку инструкцию могут порезать, а значит, э вы в целом ограничены на количество символов, которое будет у вас, [18:47] а, передано агентам. Аа клёвый способ передавать MCP как скил. А, то есть мы можем взять, сделать пакет, который является плагином. И в этом пакете у нас сразу будет содержаться и инструкция от скила, которая подробно описывает, как пользоваться пользоваться MCP, и непосредственно адреса адрес или адреса МCпишек, которые нам нужны для работы в этом плагине, которые будут удобно вызываться. А, наверное, это самое удобное, но неудобно то, что не все его поддерживают. [19:19] А, в общем, самый колеварный вопрос MCP или Skill. Тут интересно посмотреть на позицию Марио Цехнера, который делал Харнес P def agent. И в общем, в прошлом году он говорил, что у нас не будет MCP никогда, в общем, потому что он нафиг не нужен. А в сентябре этого года MCP всё-таки доехал в Пи. При этом есть даже статья в блоге [19:49] Марио, где он рассказывает о том, что он сравнивал какой-то инструмент несколько раз, и оказалось, что расхождений почти нет. То есть качество того, как отрабатывает CLI и как отрабатывает MCP, в принципе, неразличимы, если при этом у нас не деградируют инструкции, которые мы передаём агентам. Ну и основные претензии к каждому способу. Я постарался их как-то систематизировать. А в общем, то, что я слышал про претензии к скилам, что вот у нас он не работает. [20:20] А чаще всего я в этих случаях иду во фронтматер скила и вижу, что в нём просто не написан случай, когда его вызывать. А самое простое, то есть во фронтматере явно писать, какой должен вызвать этот скилл. Как только это прописывается, стопроцентное попадание начинается. А, да, есть ещё история про то, что чужие скилы неофициальные - это, на самом деле, поверхность некоторой атаки, потому что вам обязательно нужно смотреть, что же автор скила [20:52] аа передаёт. Вот совсем недавно был прецедент, где один очень известный э блогер опубликовал скилл, в котором можно было заметить телематику. Это подняло некоторый шум. А ничего плохого блогер не хотел сделать, но сам по себе прецедент есть. То есть вы устанавливаете скилл, а в скиле а есть инструкция агента, который говорит: "Передавай вот такие-то данные тогда-то и тогда-то, вот в таких-то случаях". А претензии к MCP [21:23] - это то, что он очень сильно ест контекст, но уже сейчас всё достаточно хорошо изменилось. А-а, и многие харнесы умеют искать по инструментам. И, в общем-то, проблема контекста ушла в прошлое. А, ну, а проблема CL - это бесконечное обновление. Какая ещё есть вообще большая беда? Почему я сказал, что это у нас четырёхмерный гиперкуб, когда мы работаем? Потому что оказывается, что стандарты [21:54] могут меняться. И пока вот прошёл, например, там 2 года у MCP, он прошёл путь от Stateful к statlesseless формату. Он сначала придумал там пакетные запросы, потом их отменил. А самое интересное, что клиенты, которые используют MCP, тоже при этом меняются. И каждый раз, а-а приходится смотреть, а как вообще сейчас а там в том же кодексе [22:24] вообще с инструкциями агент работает, потому что во время тестов могут начинаться странные деградации. И вот именно в этом плане, наверное, самый удобный формат - это CLI, потому что в нём, а, всё выводится в терминал, агент это читает с некоторыми ограничениями, но большинство сообщений он увидит и, скорее всего, будет вести с вашим продуктом себя так, как, собственно, вы и планировали. Как, а-э, передавать инструменты. [22:56] Когда мы делали MCP-ту, у нас в первой версии была такая огромная инструкция и небольший небольшой набор тулов. А я запустил первую пачку тестов, и, по-моему, там их было штук 40 всего, и у меня упало 20. Оказалось, что агент просто инструкции не читал. Аа, в общем, как правильно с этим работать? MCP и skill CLI на самом деле имеют такое некоторое подобие инструкции. [23:27] MCP получает, передаёт инструкцию вместе с первым ответом при инициализации. CLI позволяет дать инструкцию, если мы там команду Help к нему отправим. А у скила инструкция при первом чтении собирается. То есть как только агент решил, что нужно вот этот фронтмат разучить, он вызывает чтение, инструмент чтения скила и получает всю инструкцию. И вот проблема MCP в том, что вот эту инструкцию не все харнесы, в общем-то, в полном объёме кушают. А есть очень серьёзные ограничения, [23:57] которые в результате могут э приводить к тому, что агент просто не поймёт, что ему надо делать. Вот я взял пример, а я подумал, как бы можно было сделать для Емиаса вот одну большую монстр инструкцию. И вот предположил, что у нас, например, будет там 700 символов на что умеет сервер, сколько-то там про поиск врача и вот всевсе сервисы. И посмотрел, сколько какой Харнес аа забирает символов [24:28] а к себе э в контекст. И оказалось, что уже тот же, например, OpenCl просто не узнает о том, как отменять и переносить, а как отменить и переносить запись. Получается такой у нас будет как бы мы вроде MCP сделали, а агенты всё равно работают не так, как надо, и ведут себя немного серенько. А поэтому, когда мы столкнулись с этим в туту, то мы сократили инструкцию до 2.000 знаков. [24:58] А мы просто сказали, что если тебе нужно, а, выбрать билет на поезд, сначала вызови Тул, который описывает, как работать с покупкой билетов на поезд. И по сути вот то, что мы разложили инструкцию по инструментам аналогичным образом, как в случае, если мы делаем скилы для агентов, а там есть такая штука, как референсы. И референс - это какой-то какая-то отдельная модель поведения, которую агент загрузит в случае, если вот его задача сейчас какой-то узкой специфики касается. [25:31] И вот фактически то, что мы сделали, мы превратили MCP в некоторое подобие скила с его референсами. То же самое, кстати, можно сделать и и в CLI. То есть в CLI вы можете Help вызывать не только на а весь на всю утилиту, но вы можете на отдельную команду вызвать Help, получить информацию о том, как конкретно эта команда работает. И получается, что когда мы вот на это так смотрим, что как будто бы Тейк Мариio [26:01] Цехнер о том, что разницы-то между MCP и CLI особо нету, вот он действительно реален. И так, и так можно. А единственное, единственное преимущество заключается в том, что когда вы используете MCP и, например, у вас часто меняются наборы инструментов, у вас очень гибко, очень быстро вы планируете какое-то быстрое развитие вашего там взаимодействия с агентами, то как только вы будете обновлять версию сервера, [26:32] все агенты, которые его в настройках получили, они будут при следующей сессии получать уже новую настройку. А вот в случае с теми же самыми скилами или CLI, чтобы получить эти настройки, придётся что-то придумывать. То есть придётся каким-то образом инструктировать пользователей или агентов на обновление и доустановку а новых версий. А ещё был интересный вопрос, что а давай просто зачем нам делать какие-то MCP, отдельный сервер? [27:02] Вот есть прекрасная библиотека, она называется по типа REST to MCP или Open AP. Open AP to MCP. А, берём просто спецификацию Open P и превращаем её в MCP-сервер. Звучит вообще клёво. А проблема в том, что, как правило, всё-таки в обычной спецификации API, а у нас есть очень много различных ручек, а каждая из которых отвечает за какой-то свой отдельный [27:33] результат работы. И а а конечная, например, там какая-то прямо готовая процедура, вроде там купить билет на поезд или там найти дымоходы в маркетплейсе, а она подразумевает собой несколько вызовов инструментов, причём подряд. И получается, что если мы делаем вот такой вот хак, то получится, что наши агенты, а они же не очень детерминированные, они могут немного не такой порядок вызова, [28:05] э, методов задумать. И результат может быть не обязательно таким же, как если бы мы, например, сразу им прописали, что давай сделаем вот несколько ручек подряд, аэ, для того, чтобы выполнить какую-то задачу. Я чуть позже расскажу про пример Тутул, как мы сэкономили там какое-то безумное количество вызовов в MCP, просто придумав инструмент а фильтрации рассадок в вагонах. И вот хороший пример - это то, как вообще происходит покупка билета на поезд. [28:37] Э, вот есть несколько шагов, нужно вы найти поезд, выбросить места, дальше внести пассажиров и вот получить ссылку на оплату. Вот внесение пассажиров и формирование ссылок мм - это восемь запросов к капе в определённом порядке. Поэтому гораздо удобнее, если мы сразу возьмём и положим это в некоторый один такой один тул, который позволит сразу все эти шаги выполнить, потому что агент передаст ему всю нужную информацию для полной работы в бэкэнда [29:08] внутри а этого тула. А, и ещё есть хорошая история про то, что, чтобы агенты при работе с MCP не деградировали, стоит добавлять им подсказку, что делать после того, как они вызвали некоторый шаг. А, то есть можно взять и выдавать формат ответа, который агент прочитает, так чтобы он явно понял, как можно сделать дальше. Можно даже какой-нибудь типа вот запиши только после, да, там, например, дополнительно [29:40] проверить. Ровно так же, кстати, делает э утилиты в гите. А, кроме того, MCP хорош и лучше, чем обычный Open AP, а тем, что мы можем дать в нём очень понятные ошибки агентам, рассказать, что им надо делать, чтобы ошибку исправить, как эта ошибка получилась и, в общем, что им, как им делать дальше. Поэтому в целом история с тем, чтобы упаковать работу [30:10] с бэкэндом вашего сервиса в некоторый MCP или CLI это хороший путь к отсутствию злоупотреблений и более гладкому поведению а различных агентов. Аа вообще, что интересно, что у скила в этом плане есть как раз некоторое отставание от этих инструментов, потому что он всё-таки работает скорее с обычным [30:42] AP чаще всего. То есть когда даже когда я делаю какие-то скилы для работы с по маркетингу, там, с Яндекс-метрикой, это фактически просто наборы скриптов, которые позволяют агентам передать запросы в опишку метрики. Соответственно, результаты работы а этих запросов мы получим ровно в том формате, в котором опишка метрики их возвращает. Если мы это не, а, дополнительно никак не постобработали на уровне самих скриптов, то, скорее всего, [31:13] работа агента ничем не будет отличаться от его работы напрямую спи. А вот, э, MCP и CLI как раз позволяют давать очень прозрачные инструкции прямо, а, во время вызовов инструмента и эксплуатации вашего сервиса. А ещё агентов можно таким образом гипнотизировать, то есть рассказывать им какие-то, подсовывать им какие-то дополнительные инструкции, которые позволят агентам вести более себя лучше по отношению к вашему бизнесу. И тут [31:44] как раз, наверное, идёт самый большой вопрос. Вот. А когда я рассуждаю, вообще я очень сильно топлю за то, чтобы там Яндекс выпустил все скилы сам. Ну, то есть, чтобы вся работа по маркетингу, а, происходила по каким-то либо официальным скилам Яндекса, либо официальным MCP Яндекса. Но у меня есть такое жёсткое предположение, что, скорее всего, ребята из Яндекс-рекламы, например, не применут, а положить в инструкции какие-нибудь [32:14] там желательно обязательно настроить там РСяршку вот там по какой-нибудь такой автостратегии, потому что цель всё-таки компании - это получать как можно больше денег. И есть риск того, что однажды кто-нибудь придумает такую хитрую инструкцию. Потому что даже когда они работают, например, с пользователями, с обычными, м они иногда могут привести, придумать, что а давай сделаем там какое-нибудь векторное соответствие по запросам. В результате у тебя там по запросу товара для животных а получается реклама по запросу клетки для попугаев. [32:46] А это не очень выгодно, если у тебя магазин их не продаёт. И вот как делать регулиторику МCпишек? А какими аудитами а это сделать? А вот тут, наверное, пока большой вопрос. И этот голос в пользу как раз скилов, потому что скил проще проаудировать. Все его инструкции лежат сразу на поверхности. Ты можешь взять посмотреть, что там автор придумал, как он, э, говорит использовать э свой этот сервис. [33:16] И если там есть какие-нибудь не очень добросовестные решения, на самом деле можно просто скилл переписать и сделать своим. А в случае с МCшкой так, скорее всего, не получится. Вы даже просто не можете знать, когда MCP поменяется и вместо хорошего, понятного ответа начнёт отправлять какие-нибудь злые манипуляции вашим агентам. И и самое непонятное, как это всё контролировать. А в целом все а харднесы, которые я знаю, [33:48] могут резать ответы тулов. Поэтому общая практика такова, что лучше всего, а-э, давать э-э класть самое ценное в начало ответа, а ещё лучше делать ответы компактными. А теперь вопрос про данные. А-а, на самом деле это как бы получается, наверное, самый интересный вопрос, потому что, а, вообще, э, в последнее время я, когда посещаю даже какие-то конференции, там часто происходит какой-нибудь триггер вор, типа 152 [34:21] ФЗ, и внезапно вокруг тебя начинает собираться огромное количество народу, потому что всем есть о чём поговорить. Все начинают думать о том, блин, как бы вот нам избежать утечки, потому что штрафы за утечку у нас ээ ужасные. А инструкции того, как правильно а работать в случае утечек там или вообще как предупредить утечки, как не получить какие-то санкции РКН, они тоже не очень понятные. И вот недавно мы запускали такой инфопродукт [34:52] с командой, он называется "Позвони Гребенюку". это телефонный ассистент, аа, который эмулирует, э, общение с натуральным инфлюсером. И интересно то, что у нас там количество строк докумен документов, которые были поданы, а, в различные ведомства для того, чтобы это запустить, включая там документацию по трансграничной передаче данных и так далее, а он сильно превосходит размер кода этого проекта. А-а, то есть юристы работали гораздо больше программистов. [35:23] А-а недавно, э-э, случилась утечка данных у фествдс. Они писали об этом на Хабре, и нам пришлось подавать уведомления в РКН о том, что, ну, вот у нас есть такой инцидент, и мы его расследуем. И это ещё огромный огромный поток таких каких-то, а работ с документами, с юристами и тем, как вообще правильно, а [35:53] документацию документы подавать. Тут хотелось бы сказать, что было бы неплохо, чтобы РКН тоже делал скилы, потому что я подозреваю, что если у вас будет просто понятный скилл, как оформлять какие-то документы и как подавать бумаги, то качество поданных э заявлений будет гораздо лучше. А как не нарушать закон? А тут есть интересный момент, что на самом деле ваш агент, а это по сути он мало чем отличается от браузера. А вот если посмотреть на взаимодействие [36:23] и агента, и некоторого сервиса. То есть по сути это тот же самый HTTP. Мы просто берём, приходим, что-то на страницах читаем. И, наверное, то, как агент потом распоряжается с данными - это, а, момент, который может вызывать вопросики. Вот об этом поговорим. А тут ключевой момент в том, что когда вы в браузере пользуетесь каким-то веб-сайтом, то он не хранит у себя в истории все всю информацию, которую он увидел. То есть, если там где-то у вас были логины, пароли, банковские карты и какая-то ещё информация, когда вы с этой страницы ушли, [36:59] скорее всего, если разработчики аккуратно поработали, нигде в истории данных нет. То есть они не должны были где-то закашироваться и и лежать. А вот если агент с помощью браузер юза, там плейрай скила или чем-то ещё ваш э сервис исследовал, то всё, что он там увидел, а осталось у него где-то в сессии. А получается, что и даже если разработчики подумали о том, как сделать, чтобы банковская карта не хранилась в кше браузера, агент, возможно, эту банковскую карту теперь держит, и она [37:31] неизвестно куда может быть скопирована. А поэтому тут голос за то, что в случае с MCP или CLI мы можем организовать работу нашего сервиса таким образом, чтобы не выдавать какую-то чувствительную информацию, а выдавать вместо него маскированные данные. А, то есть самое простое, например, мы можем взять и подумать, что вот, допустим, у нас будет правило в инструкции не показывай полис, но агент-то полис увидел, а значит, он где-то в сессии лежит. [38:03] Но если мы сделаем так, что в ответе нашего инструмента будет просто написан 5, у которого полис там заканчивается на такие-то цифры, то по сути никакой утечки не происходит. Как будто бы в данном кейсе MCP и CLI - это гораздо более дружелюбные истории с точки зрения противодействия утечкам, чем просто браузер use, который уже используется. Аа и есть интересная такая штука. Есть Саймон Уилсон, который сформулировал термин [38:34] смертельная триада. А он считает, что если в какой-то системе будет возможность доступа к user generated контенту, к личным данным, и у этого всего будет хоть какой-то канал наружу, то у нас будет утечка достаточно вероятной. А получается, что если мы, в принципе, позволяем людям, а, и и агентам пользователей касаться какого-то user generated контента, который ещё и не модерируется, а то шанс того, что-то [39:05] всё-таки с данными произойдёт и какие-то злонамеренные действия агент может совершить. Об этом вот Глеб сейчас хорошо рассказывал, буквально пол два доклада назад. А, в общем, риск того, что мы получим какое-то плохое последствие, высокий, а значит, риск и для сервиса высокий. Отсюда мы делаем вывод, что всё-таки чужой текст и user generated content в случае, если мы работаем с MCP, отдаём что-то агентом пользователя, стоит исключить. [39:36] А в целом стоит вообще относиться к любым агентам, к любым моделям, так как достаточно наивным ребятам, которых очень легко можно уговорить. Стопроцентной гарантии, что устойчивости к промнъекциям и к к злоупотреблениям нет ни у одного эни ни у одной модели. Аа следующее, как вообще сделать, чтобы люди подключали ваш сервер? А когда я делал скилы для агентов, [40:06] ко мне, наверное, топ вопросов, которые приходили в личку - это то, как это всю эту всю радость подключать. И на самом деле, а до сих пор это неудобненько, как бы, наверное, единственный удобный способ, который сейчас есть для подключения всяких плагинов - это вот, э, чаты, всякие боты, которые берут через ОАУВ, а, делают авторизацию и, в общем-то, дальше пользуются там каким-нибудь гранолы, MCP и чем-то ещё. Аа, но в целом есть несколько рекомендаций, [40:37] которые мы открыли с командой ИтуТУ, и Вкусвила, когда, в общем, со всем этим работали. А, во-первых, типичный MCP не содержит никакой полезной информации по странице, которую он по которой он расположен. Хотя, на самом деле, мы можем отсеивать по заголовку Accept и отдавать пользователям полезную информацию о том, как настраивать в агентах, как какую инструкцию передать своему агенту, чтобы он смог это всё запустить. А для агентов мы можем по этому же заголовку [41:09] отдавать понятную возможность работы с MCP. И когда мы только-только запускали MCP для Ту-Ту, первый отзыв мне дала моя супруга. Я ей скинул: "Смотри, мы сделали". Она мне говорит: "Ты что? И что? И показывает мне просто белый экран. И ровно в тот же вечер мы придумали, что нужно взять всё переделать и отдавать две версии. Одну для агентов, одну для пользователя. А а ещё когда вы работаете, обязательно нужно, когда вы работаете с MCP и вообще с агентами, обязательно надо сходить к юристам, [41:39] потому что если сервис всё-таки выполняет не справочную функцию, а какую-то полезную, например, предоставляет возможность записи, покупки или чего-то ещё, то у этого сервиса есть правила. И когда-то давным-давно юристы написали документ, который называется "Оферта", который регулирует то, как вообще бизнес, что он обещает, когда пользователь прав, когда бизнес прав. И, в общем-то, эта штука, которая позволяет всё регулировать. Если Поэтому тут такая, э, есть важная пометка, [42:09] что любые действия всё-таки нужно совмещать с с приёмом, с акцептом этой оферты. Поэтому и акцептовать оферту мы на самом деле можем только двумя способами. Мы можем либо дать оферту перед действием, а, например, у нас MCP предполагает, э, там, формирование счёта на рекламу, а вот в момент, когда человек будет этот счёт там скачивать или получать где-то на сайте, он должен вначале согласиться с условиями, на которых он будет с вами работать. [42:39] А потому что если агент просто скачает счёт, то доказать потом, что оферта была принято, будет невозможно. А второй хороший способ - это оферта, когда мы регистрируем агента. То есть, э, сейчас большинство сервисов предполагает некоторую авторизацию. А, то есть мы можем взять и не просто дать доступ, вот как в случае с Врдстатом, к некоторым статистикам, а мы можем авторизовать агента, делать что-то от нашего имени, например, слушать наши аудиозаписи [43:12] или записывать нас в больницу. И в этом случае, э, оферту можно принять либо при совершении действия, либо когда мы этого агента, собственно, и регистрируем. Аа получается, что юристы должны написать такие правила, которые будут, э, им же удобны при разрешении спорных ситуаций по работе с вашим сервисом, когда агент совершит, возможно, что-то, э, что вам бы не хотелось. И дальше вопрос. Сам MCP советует [43:44] регистрироваться и авторизовываться через ОАУФ, но с ним есть проблема, что не все способы работы агентов подразумевают RedКct URL, который выпускает конечный токен. Поэтому для чата в облаке и для приложения на компьютере у нас с авторизацией получится всё по стандарту. А для агентов на своём сервере, вроде OpenCloger MESA, которые живут где-нибудь там на Макмине в комнате, для них всё-таки потребуется делать э авторизацию [44:14] через некоторый токен, а или ключ. А поэтому авторизации нужно поддерживать двух типов. И самый простой способ превратить MCP в skill - это поменять адрес. А тут есть интересная история, что у Яндекса есть поисковые MCP, которые они публиковали где-то на заре общественного интереса к серверам. Он ещё как-то сделан странно у них через локальные MCP, но обращается он к адресу. И в итоге однажды адрес у них переехал, [44:45] и получилось так, что у всех этот MCP сломался. Поэтому самый простой способ взять и превратить MCP в skill, то есть лишить MCP как способ передачи агентом инструкций и обновления этих инструкций, это взять просто поменять его адрес. Аа то же самое происходит. То же самое можно сказать и про CLI, и про репозиторию у скилов, потому что если мы всё-таки думаем о том, как скилы обновлять, скорее всего, они будут тянуться из какого-то репозитория. И, наверное, самый главный вопрос: как вообще проверять то, что делают агенты? [45:17] какие тесты запускать. Когда-то мне кто-то сказал, что типа вот мы сделали MCP, я говорю: "А как тестите?" Аа и мне говорят: "Ну, у нас там просто, ну, юнит-тесты покрыт всё и код, код код без багов, всё нормально". Но когда я делал ту-ту с командой, то оказалось, что самым э ценным источником данных являются тестовые сценарии. А, то есть, когда мы берём и под каждый, а, [45:48] который мы предполагаем, что пользователи могут к нам прийти, мы записываем там несколько тестовых сценариев разной степени изощрённости и просто проверяем, каким образом эти сценарии дальше будут у нас работать. Вот мы таким образом, наверное, нашли штук там 100 багов после запуска сервера. Есть интересная статья антропиков, где они говорят, как вообще делать эвалы для иагентов, и они перечисляют там несколько багов, которые которым подвержены системы типа LM is a judge. [46:20] То есть и они прямо перечисляют нечестную оценку, неоднозначное задание, а и не за счёт верного решения. В общем, мы мы все, короче, собрали из этих, э, ошибок. Жаль, я эту статью не прочитал раньше, но в целом нужно обязательно перепроверять по трассам. То есть как только вы а запу делаете ивалы, недопустимо просто смотреть какие-то поверхностные оценки, вроде там вызван ли был тул или что-то ещё. Нужно обязательно, чтобы был некоторый агент, который будет, который будет [46:51] ээ проверять, как проходил судейство и изучит трейсы и поймёт, это у нас сейчас судья врёт или это у нас агент сейчас совершил ошибку и, в общем-то, результата не достиг. И если это агент, то почему он так, почему это получилось? Это ошибка именно самого агента. Допустим, он не дополучает какую-нибудь информацию из-за своих особенностей, либо же это ошибка нас с точки зрения инструкций. Чаще всего плывут инструкции или результаты тулов. [47:23] И вот это самый ценный способ, каким образом выровнять поведение агентов на большом количестве кейсов. А так, чтобы завтра сделать MCP, придумываете минимальный набор инструментов, придумываете, как их тестировать, а решаете, как раздавать доступ, и общаетесь с юристом, каким образом аа принимать оферту. Если кто-то будет запускать MCP, я стараюсь у себя в канале рассказывать о всех аа новинках, если кто-то в рунете что-то выпускает. [47:54] Поэтому можете написать мне в личку, я вас дополнительно отдельно пропиарю. На этом у меня всё. >> Спасибо тебе. >> Спасибо тебе огромное, Саш. Мы будем очень быстренько сейчас закругляться, переходить к следующему спикеру, потому что мы чуть-чуть не в таймингах. Ещё раз спасибо большое, друзья. Все вопросы задавайте в канале у Саши. Прекрасная презентация. Так-с. >> Всем спасибо. M.