配置 | promptfoo

📄️ 指南

YAML 配置格式通过一系列示例输入（即“测试用例”）运行每个提示，并检查它们是否满足要求（即“断言”）。

以下是 promptfoo 配置文件的主要结构：

提示

提示文件支持OpenAI的JSON提示格式中的消息。这使您可以设置多个消息，包括系统提示。例如：

你的数据集是LLM评估的核心。在可能的范围内，它应尽可能真实地反映输入到你的LLM应用中的内容。

scenarios 配置允许你将一组数据与一组应在该数据上运行的测试组合在一起。当你想用同一组测试来测试广泛的输入时，这非常有用。

promptfoo 会缓存对 LLM 提供商的 API 调用结果。这有助于节省时间和成本。

promptfoo 默认收集基本的匿名遥测数据。这些遥测数据帮助我们决定如何分配开发时间。