vllm

vllm 的 OpenAI 兼容服务器 提供了对许多 支持的模型 的本地推理访问，这些模型来自 Huggingface Transformers。

为了在您的评估中使用 vllm，请将 apiBaseUrl 变量设置为 http://localhost:8080（或您托管 vllm 的任何位置）。

以下是一个使用 Mixtral-8x7b 进行文本补全的示例配置：

providers:
  - id: openai:completion:mistralai/Mixtral-8x7B-v0.1
    config:
      apiBaseUrl: http://localhost:8080/v1

如果需要，您也可以使用 OPENAI_BASE_URL 环境变量来替代 apiBaseUrl 配置。