Подготавливаем демо агент

Скачайте код демо-агента

git clone https://github.com/bocharovf/langfuse-workshop.git

Создайте файл с настройками .env

Создайте копию файла .env_example с именем .env в том же каталоге.

Получите доступ к LLM MWS GPT Model Hub

Чтобы ИИ-агент работал, ему нужен доступ к большой языковой модели. Разворачивать LLM локально сложно и требует значительных ресурсов.

Поэтому мы будем использовать сервис LLM от MWS Cloud - GPT Model Hub. Для работы нам понадобится пополнить баланс на 500 рублей. Этого будет достаточно, так как вам будет начислено дополнительно 3 000 бонусных рублей.

Вы можете использовать любой сервис, который предоставляет нужные нам модели, однако здесь мы рассмотрим именно GPT Model Hub.

Регистрация и пополнение баланса

Воспользуйтесь инструкцией.

У вас должно получиться:

  1. Создать проект в https://console.mws.ru/.
  2. Создать биллинг аккаунт.
  3. Пополнить баланс на 500 рублей. Грант на 3000 будет начислен автоматически через несколько секунд после пополнения.

Деплоймент необходимых моделей

Теперь нам нужно развернуть в нашем проекте 3 модели, с которыми будет работать наш агент.

Перейдите на закладку GPT Model Hub -> Деплойменты моделей.

Создайте 3 модели:

  • qwen3-235b-instruct
  • bge-m3
  • qwen3-32b

Деплоймент моделей

Интерфейс подсказывает нам, как можно обратиться к модели с помощью curl, без всякого агента. Но для этого нужен ключ доступа к LLM, которого еще нет!

Созданная модель

Создание ключа доступа к LLM

Для работы с моделями нужен ключ.

Чтобы его создать, перейдите в раздел IAM -> Сервисные аккаунты.

В меню Права доступа сервисного аккаунта найдите роль gpt.inferencer и нажмите "Создать"

Создание нового сервисного аккаунта

Теперь в нашем сервисном аккаунте на закладке Ключи доступа создаём ключ с типом API-ключ.

Деплоймент моделей

После создания вам только один раз будет показан ключ доступа, начинающийся с v1.

Деплоймент моделей

Укажите в проекте адрес проекта и ключ доступа к LLM

Укажите в файле проекта .env ключ доступа к LLM, начинающийся с v1. и адрес вашего проекта в https://console.mws.ru/:

LLM_TOKEN=v1....
LLM_URL=https://gpt.mwsapis.ru/projects/ЗАМЕНИТЬ_НА_ВАШ_ПРОЕКТ/openai/v1/

Создайте проект в Langfuse

Запустите Langfuse

Выполните команду, чтобы запустить Langfuse (сам агент у нас пока еще работать не будет и часть контейнеров может упасть)

docker-compose up -d
  1. Зарегистрируйтесь (sign up) на http://localhost:3000/.
  2. Создайте для себя организацию и проект в Langfuse.

Создайте ключи доступа к вашему проекту Langfuse (API Keys)

Зайдите в Settings → API Keys → Create new API Keys.

Пропишите ключи в .env файл проекта:

LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...

API Keys

Перезапустите проект

Теперь, после заполнения .env, поднимаем оставшиеся контейнеры агента

docker-compose up -d

Успешный запуск

Протестируйте агента

  1. Откройте Web-интерфейс агента http://localhost:8501/
  2. Запросите рецепт котлет и его стоимость (по умолчанию поле уже заполнено)
  3. Перейдите на закладку Tracing вашего проекта в Langfuse
  4. Проверьте, что на закладке есть трейсы.

Ожидаемый результат

  1. Агент ответил на запрос рецептом
  2. В вашем проекте Langfuse на закладке Tracing видны трейсы

Tracing

Tracing