Выводы

Вы молодцы!

1. Трассировка делает работу AI-агента наблюдаемой. Для диагностики крайне важно логировать input и output вызовов LLM.

2. LLM-as-a-judge - один из хороших способов не допустить регресса, но он стоит денег.

3. Централизованное управление промптами крайне удобно, но нужно грамотно выстраивать процесс изменений.

4. Управление контекстом запросов к LLM – ключ к отсутствию галлюцинаций.

Ссылки для дальнейшего изучения

• Как визуализировать смыслы текстов
• Обзор функционала Langfuse на примере
• Документация Langfuse
• Мы не использовали фреймворки, чтобы не скрывать детали реализации. Но на практике вы наверняка используете фреймворк наподобие Langchain, и ваша интеграция с Langfuse станет еще проще: Langchain интеграция с Langfuse
• Стандарт наблюдаемости OpenTelemetry
• Отличные видео по AI агентам
• Учебник по ML от Яндекса
• Отличная книга для подготовки к собеседованию по проектированию GenAI
• Как читать мысли LLM

Авторы

Бочаров Филипп

Более 8 лет занимаюсь наблюдаемостью систем и рассказываю об этом на Highload++. Автор tg-канала @technosurvival

Дмитрий Лобач

Запустил сервис на базе Langfuse внутри МТС Web Services, которым пользуются десятки продуктов.

Даниел Иванов

Архитектор в МТС Web Services.