Llama.cpp

llama 提供程序与 llama.cpp 捆绑的 HTTP 服务器兼容。这使您能够在 Promptfoo 中利用 llama.cpp 模型的强大功能。

配置

要使用 llama 提供程序，请在您的 promptfooconfig.yaml 文件中将 llama 指定为提供程序。

支持的环境变量：

• LLAMA_BASE_URL - 协议、主机名和端口（默认为 http://localhost:8080）

有关如何将 Promptfoo 与 llama.cpp 一起使用的详细示例，包括配置和设置，请参阅 GitHub 上的示例。