OpenLLM

要使用 OpenLLM 与 promptfoo，我们利用 OpenLLM 对 OpenAI 兼容端点 的支持。

1. 使用 openllm start 命令启动服务器。

2. 设置环境变量：

   • 将 OPENAI_BASE_URL 设置为 http://localhost:8001/v1
   • 将 OPENAI_API_KEY 设置为虚拟值 foo。

3. 根据您的使用场景，使用 chat 或 completion 模型类型。

   聊天格式示例： 要使用聊天格式提示运行 Llama2 评估，首先启动模型：

   openllm start llama --model-id meta-llama/Llama-2-7b-chat-hf

   然后设置 promptfoo 配置：

   providers:
     - openai:chat:llama2

   完成格式示例： 要使用完成格式提示运行 Flan 评估，首先启动模型：

   openllm start flan-t5 --model-id google/flan-t5-large

   然后设置 promptfoo 配置：

   providers:
     - openai:completion:flan-t5

4. 有关更多详细信息，请参阅 OpenAI 提供者文档。