Добро пожаловать на воркшоп по Langfuse

Сегодня, на примере демо-агента, ты узнаешь:

  • сколько могут стоить ошибки агента в рублях;
  • как сломать продуктивный агент не меняя ни строчки кода;
  • что может пойти не так с MCP.

Цель: дать тебе инструмент для диагностики типовых проблем AI-агента!

Ведущие

Бочаров Филипп

Более 8 лет занимаюсь наблюдаемостью систем и рассказываю об этом на Highload++. Автор tg-канала @technosurvival

Филипп Бочаров

Дмитрий Лобач

Запустил сервис на базе Langfuse внутри МТС Web Services, которым пользуются десятки продуктов.

Дмитрий Лобач

Группа воркшопа в tg

Сканируй QR-код и вступай в группу

Вступление в группу tg

Требования к участнику

  • ноутбук с доступом в Интернет
  • git, Docker v24.x+ и Docker Compose v2.22.x+
  • любой редактор кода, желательно с поддержкой python

Схема воркшопа

Мы будем работать с demo-агентом Cookbook Agent. Он умеет создавать рецепты блюд и расчитывасть стоимость ингредиентов.

На каждом шаге воркшопа мы будем имитировать раличные нештатные ситуации, которые вам нужно будет найти и исправить. Как только вы догадаетесь о причинах проблемы или как ее починить - поднимайте руку и говорите всем вслух.

Схема воркшопа

Demo-агент состоит из частей:

  • cookbook-agent - агент на python. Это основной проект, который мы будем изучать и изменять.
  • mcp-server - MCP-сервер, к которому агент обращается за поиском рецептов и их стоимостью. Развернут локально, но вы считаете, что он находится где-то в облаке. MCP-сервер вас - черный ящик.
  • qdrant - векторная база данных с рецептами
  • RAG-loader - утилита для зугрузки рецептов в qdrant при первом запуске
  • redis - хранилище памяти для сессии агента. Изначально наш агент память не использует, но она будет добавлена на последнем шаге.

Вы разверенете demo-агент локально, с помощью docker-compose. Код можно править в любом удобном редакторе, например VS Code.

Для имитации сбойных ситуаций используются бинарные фича-флаги в файле .env, они называются STEP_*. Не забывайте очищать старые флаги, чтобы сценарии не мешали друг другу.

После запуска агент будет доступен по адресу http://localhost:8501

Вся телеметрия агента будет собираться в Langfuse. Он уже развернут для вас централизовано по адресу https://langfuse-workshop.ru