Проблема prompt inflation

Наш контекст содержит: - историю запросов пользователя - системный промпт - ответы тулов

С каждым сообщением контекст разрастается - растут стоимость запросов и риск, что модель упустит важное. Поэтому агент хранит в памяти только последние сообщения диалога (константа HISTORY_LIMIT в agent.py).

Но вместе со старыми сообщениями из контекста пропадают и важные для нас сведения! Загляните в input спана ask-llm для вопроса про молочный коктейль: сообщения Я не ем сахар там уже нет, и модель о нем просто не знает.

Исправим проблему

Установите в True только указанные переменные окружения в .env:

STEP_5_1 = True
STEP_5_2 = True

docker compose up -d --force-recreate cookbook-agent

Повторно пройдите сложный сценарий с памятью

Обновите страницу агента (F5), чтобы начать новую сессию.

Последовательно спросите агента:

  1. Я не ем сахар. Подскажи рецепт котлет
  2. Я не ем лук, чеснок и креветки. Подскажи рецепт плова
  3. Как делать молочный коктейль?

Задача

  1. Провести диагностику сложного сценария и понять, почему теперь все работает как надо.

Знаешь ответ - подними руку!