LiteLLM

LiteLLM 提供了对数百种大型语言模型的访问。

由于它与 OpenAI API 兼容，您可以通过将 apiBaseUrl 变量覆盖为指向 LiteLLM 服务来配置 promptfoo 使用 LiteLLM。

以下是使用 LiteLLM 与 promptfoo 的示例配置：

providers:
  - id: openai:chat:<模型名称>
    config:
      apiBaseUrl: http://0.0.0.0:4000/

例如，要使用 gpt-4o：

  - id: openai:chat:gpt-4o
    config:
      apiBaseUrl: http://0.0.0.0:4000/

或者使用 Anthropic 的 Claude（请记住，我们实际上并没有使用 OpenAI API，而是使用支持 OpenAI 格式的 LiteLLM）：

  - id: openai:chat:claude-3.5
    config:
      apiBaseUrl: http://0.0.0.0:4000/

或者，您可以使用 OPENAI_BASE_URL 环境变量代替 apiBaseUrl 配置属性：

OPENAI_BASE_URL=http://0.0.0.0:4000/