Выводы

Вы молодцы!

1. Трассировка делает работу AI-агента наблюдаемой. Для диагностики крайне важно логировать input и output вызовов LLM

2. LLM-as-a-judge - один из хороших способов не допустить регресса, но он стоит денег

3. Централизованное управление промптами крайне удобно, но нужно грамотно выстраивать процесс изменений

4. Управление контекстом запросов к LLM – ключ к отсутствию галлюцинаций

Ссылки для дальнейшего изучения

• TG канал про эксперименты с AI, наблюдаемость, публичные выступления и управление продуктом
• Обзор функционала Langfuse на примере
• Документация Langfuse
• Мы в воркшопе не использовали фреймворки, чтобы не скрывать детали реализации. Но на практике вы почти наверняка используете фреймворк на подобии Langchain, и ваша интеграция с Langfuse станет еще проще: Langchain интеграция с Langfuse
• Стандарт наблюдаемости OpenTelemetry
• Отличные видео по AI агентам
• Учебник по ML от Яндекса
• Отличная книга для подготовки к собеседованию по проектированию GenAI