自定义脚本

您可以将任何 shell 命令用作 API 提供者。当您希望使用 promptfoo 不直接支持的语言或框架时，这尤其有用。

虽然脚本提供者特别适用于评估链，但如果它们是用 Python 或其他语言实现的，通常也可以用来测试您的提示。

tip

Python 用户：有一个专门的 python 提供者，您可能会发现它更容易使用。

Javascript 用户：请参阅如何实现 ApiProvider。

要使用脚本提供者，您需要创建一个可执行文件，该文件将提示作为其第一个参数，并返回 API 调用的结果。该脚本应能够从命令行调用。

以下是如何使用脚本提供者的示例：

providers:
  - 'exec: python chain.py'

或在 CLI 中：

promptfoo eval -p prompt1.txt prompt2.txt -o results.csv  -v vars.csv -r 'exec: python chain.py'

在上面的示例中，chain.py 是一个 Python 脚本，它将提示作为参数，执行 LLM 链，并输出结果。

有关脚本提供者的更深入示例，请参阅 LLM 链 示例。