Добро пожаловать на воркшоп по Langfuse

Этот воркшоп прошли 60+ человек на конференциях AIConf 2026 и Saint HighLoad++ 2026, а теперь он стал публичным!

Как это было

Сегодня, на примере демонстрационного ИИ-агента, ты узнаешь:

  • сколько могут стоить ошибки агента в рублях;
  • как сломать продуктивный агент не меняя ни строчки кода;
  • что может пойти не так с MCP.

Зачем этот воркшоп?

  • Большинство компаний инвестирует в AI.
  • У агентов есть специфичные проблемы.
  • Агенты используют других агентов, усложняя систему.

Цель: дать тебе инструмент для диагностики типовых проблем AI-агента!.

Как проходить воркшоп

Слева есть навигация по шагам воркшопа. Каждый его шаг содержит Сценарий и Решение. Старайтесь самостоятельно разобраться и найти ответы на вопросы, описанные в Сценарии. Не забегайте вперед и не подсматривайте сразу в Решение.

Требования к участнику

  • ноутбук с доступом в Интернет
  • git, Docker v24.x+ и Docker Compose v2.22.x+
  • любой редактор кода, желательно с поддержкой python
  • 500 рублей для оплаты LLM
  • 120 минут свободного времени

Что такое Langfuse

Langfuse - это open source платформа для разработки и наблюдения приложений на базе LLM.

Ее ключевой функционал:

  • Наблюдаемость: всё, что нужно, чтобы понять, почему агент тормозит или выдает ошибку.
  • Промпт-менеджмент: хранение промпта для LLM централизованно под контролем версий
  • Метрики качества: проверка ответа агента на корректность, безопасность и т.д.

Схема воркшопа

Мы будем работать с demo-агентом Cookbook Agent. Он умеет создавать рецепты блюд и рассчитывать стоимость ингредиентов.

На каждом шаге воркшопа мы будем имитировать различные нештатные ситуации, которые вам нужно будет найти и исправить. Как только вы догадаетесь о причинах проблемы или о том, как её починить, — поднимайте руку и говорите всем вслух.

Схема воркшопа

Demo-агент состоит из частей:

  • cookbook-agent - агент на python. Это основной проект, который мы будем изучать и изменять.
  • mcp-server - MCP-сервер, к которому агент обращается за поиском рецептов и их стоимостью. Развернут локально, но вы считаете, что он находится где-то в облаке. MCP-сервер вас - черный ящик.
  • qdrant - векторная база данных с рецептами
  • RAG-loader - утилита для загрузки рецептов в qdrant при первом запуске
  • redis - хранилище памяти для сессии агента. Изначально наш агент память не использует, но она будет добавлена на последнем шаге.

Вы развернете demo-агент и сервис Langfuse локально с помощью docker-compose.

После запуска агент будет доступен по адресу http://localhost:8501, а Langfuse и вся телеметрия агента по адресу http://localhost:3000.

Код можно править в любом удобном редакторе, например VS Code.

Для имитации сбойных ситуаций используются бинарные фича-флаги в файле .env, они называются STEP_*. Не забывайте очищать старые флаги, чтобы сценарии не мешали друг другу.

Нашли ошибку?

В этой инструкции - PR в https://github.com/bocharovf/docs-langfuse-workshop

В коде воркшопа - PR в https://github.com/bocharovf/langfuse-workshop