text-generation-webui

promptfoo 可以通过 OpenAPI API 扩展 对 oobabooga 的 text-generation-webui 托管的模型进行评估。

text-gen-webui 扩展可以通过 UI 或命令行激活。以下是命令行使用的示例。

python server.py --loader <LOADER-NAME> --model <MODEL-NAME> --api
# 如果使用简单安装程序，请将 `python server.py` 替换为 ./start_linux

使用方式与 OpenAI API 兼容。

在 promptfoo 中，我们可以按如下方式访问 API。

providers:
  - openai:chat:<MODEL-NAME>:
      id: <MODEL-ID>
      config:
        apiKey: placeholder
        apiBaseUrl: http://localhost:5000/v1
        temperature: 0.8
        max_tokens: 1024
        passthrough: # 这些配置值直接传递给 API
          mode: instruct
          instruction_template: LLama-v2

如果需要，您可以使用 OPENAI_BASE_URL 和 OPENAI_API_KEY 环境变量代替 apiBaseUrl 和 apiKey 配置。