Проблема Model Routing

Работая с LLM вы платите за каждый входящий и исходящий токен (запрос и ответ). Обычно, чем умнее модель, тем дороже стоит каждый токен. В целях экономии, агенты выбирают часто выбирают более дешевые модели для простых задач.

Ошибка в логике выбора модели может привести к росту затрат и неоптимальному использованию ресурсов.

Как исправить код

В функции choose_model исправьте проверку значения переменной tools_request.

Эта переменная имеет строковое значение и такая проверка всегда будет возвращать True:

if tools_request == True:
    result = {"model": REGULAR_MODEL, "tool_calls": tools_request == "true"}
else:
    result = {"model": BASIC_MODEL, "tool_calls": tools_request == "true"}

Корректная проверка выглядит вот так:

if tools_request == "true": # !!!
    result = {"model": REGULAR_MODEL, "tool_calls": tools_request == "true"}
else:
    result = {"model": BASIC_MODEL, "tool_calls": tools_request == "true"}

Задача

Добиться использования дешевой модели llama-3.1-8b-instruct для простых запросов