集成 | promptfoo

📄️ CI/CD

在扩展LLM应用时，能够衡量任何提示或模型更改的影响至关重要。本指南展示了如何将promptfoo与CI/CD工作流集成，以自动评估测试用例并确保质量。

本指南描述了如何使用 promptfoo GitHub Action 自动运行编辑前后的提示评估。

promptfoo 允许你直接从 Google Sheets 导入评估测试用例。这可以通过未认证的方式完成（如果表格是公开的），或者使用 Google 的默认应用程序凭据进行认证，通常通过服务帐户进行编程访问。

Helicone 是一个开源的可观测性平台，它代理您的 LLM 请求并提供有关您的使用情况、支出、延迟等方面的关键洞察。

promptfoo 可以与 Jest 和 Vitest 等测试框架集成，以评估提示作为现有测试和 CI 工作流程的一部分。

Langfuse 是一个包含提示管理功能的 AI 平台。

promptfoo 可以与测试框架（如 Mocha）和断言库（如 Chai）集成，以便在现有的测试和 CI 工作流程中评估提示。

Portkey 是一个包含提示管理功能的 AI 可观测性套件。

有关在 Google Colab/Jupyter Notebook 中使用 promptfoo 的示例，请参见此笔记本。