Promptfoo 筹集 500 万美元以修复 AI 应用中的漏洞

今天，我们很高兴地宣布，Promptfoo 已获得由 Andreessen Horowitz 领投的 500 万美元种子轮融资，以帮助开发者发现并修复其 AI 应用中的漏洞。

AI 的采用正处于关键阶段。急于使用大型语言模型（LLM）构建的公司面临着日益增加的安全风险、法律不确定性以及因训练数据泄露和不安全集成等新陷阱而可能造成的品牌损害。

我们相信一种务实的 AI 安全方法，即加强应用层，这是模型与现实世界相遇的地方。在这里，设计选择对整个系统的安全性具有巨大影响。

我们的使命： 赋能每一位构建者系统地发现并修复其 LLM 应用中的漏洞。

我们是对抗性 AI 的架构师。 我们构建了首个专门针对 AI 应用的渗透测试产品。我们设计恶意输入，模拟现实威胁，并推动 LLM 达到其极限。

我们是开源情报的捍卫者。 我们相信 AI 应该建立在透明和问责的文化基础上。

我们如何走到这里

作为 Discord 的工程领导者，我创立了平台生态组织，并多年致力于大规模构建开发者 API。当我转而领导一个为数百万用户构建基于 LLM 产品的团队时，我亲身体会到，发布 AI 最困难的部分是确保最终结果的安全、可靠和可靠。由于 LLM 的表面区域如此之大，传统的测试和安全方法并不有效。

我为像我这样的应用开发者设计了 Promptfoo 的第一个版本，重点是使其尽可能简单地测试、发现和修复 LLM 故障。

在此过程中，我与我的联合创始人 Michael 合作，他是一位长期的朋友和工程领导者，曾在 Smile Identity 将机器学习扩展到为超过 1 亿人服务的数百家企业。他在防御 AI 应用免受实际威胁方面的实践经验体现了我们对安全的务实方法。

每个 AI 构建者都需要一个红队

大型 AI 公司依赖专门的“红队”来探测模型中的重大安全和安全漏洞。但他们并不总是关心与应用开发者相同的事情。

这就是为什么除了常见的漏洞如越狱和提示注入外，我们还看到了仅在应用层面发生的问题——比如 AI 承诺免费汽车、客服代理泄露数据库信息、家庭作业辅导员发表政治观点。这些问题破坏了信任，并对使用 AI 的企业构成实际威胁。

我们正在为其他人构建 AI 红队，通过赋能开发者在他们到达用户之前发现并修复对他们最重要的故障。我们专注于特别影响应用层的问题——如上下文中毒、工具误用、用例劫持以及许多其他特定于业务的威胁。

今天，像 Shopify、Amazon 和 Anthropic 这样的公司中超过 25,000 名软件工程师正在使用我们强大的开源工具来评估 AI 行为，以加强他们的应用。

AI 的未来是开源的

我们相信 AI 在开源中蓬勃发展。最好的安全和评估工具将基于透明和互操作性的开源原则，而不是不透明和专有锁定。

基于此，我们正在将 Promptfoo 开发为执行 AI 渗透测试和红队评估的开源标准。

我们很荣幸得到 Andreessen Horowitz 的支持，他们与我们一样，对开源、以应用为中心的 AI 安全抱有愿景。我们也感谢像 Tobi Lutke（Shopify CEO）、Stanislav Vishnevskiy（Discord CTO）、Frederic Kerrest（Okta 副董事长兼联合创始人）以及许多其他科技、安全和金融行业的顶级高管的参与。他们对 Promptfoo 的信任验证了我们的方法，他们的专业知识加强了我们的使命。

我们也衷心感谢开源社区的协作努力。我们仍然深切致力于 Promptfoo 作为开源项目的根基。我们的贡献者继续成为 Promptfoo 发展和成功的驱动力。

使用 Promptfoo 掌控 AI 安全

关于 AI 安全的讨论已经破裂。传统的安全方法对于复杂的 AI 系统来说不足，而监管则忽略了实际对消费者的威胁。

答案在于赋能每一位开发者主动发现并修复其应用中的漏洞。

准备好构建值得信赖、可靠的 AI 应用了吗？联系我们 讨论您公司的选项。

Ian Webster

CEO, Promptfoo