📄️ 简介
LLM 红队测试是一种在 AI 系统部署之前,通过使用模拟的对抗性输入来发现其漏洞的方法。
📄️ 快速开始
本指南介绍如何开始使用 Promptfoo 的生成式 AI 红队工具。
📄️ 配置
在 promptfooconfig.yaml 文件中的 redteam 部分用于通过 promptfoo redteam run 或 promptfoo redteam generate 生成红队测试。它允许您指定红队测试的插件和其他参数。
📄️ LLM漏洞类型
本页面记录了潜在的LLM漏洞和故障模式的类别。
📄️ OWASP LLM Top 10
OWASP 大型语言模型应用程序 Top 10 旨在教育关于部署和管理 LLM 时的安全风险。它根据影响、可利用性和普遍性列出了 LLM 应用程序中的十大关键漏洞。
📄️ 防护栏API
防护栏API帮助检测用户输入到语言模型中的潜在安全风险,识别个人身份信息(PII),并评估内容中的潜在危害。
🗃️ Plugins
22 items
🗃️ Strategies
8 items
📄️ 如何进行RAG应用的红队测试
检索增强生成(RAG)是一种基于LLM的架构,越来越受欢迎,用于知识型AI产品。本指南重点介绍开发者在部署RAG时应考虑的应用层攻击。
📄️ 如何进行LLM代理的红队测试
LLM代理能够与其环境交互,并使用自然语言接口执行复杂任务。随着这些代理访问外部系统和敏感数据,安全评估变得至关重要。
📄️ 如何进行LLM应用的红队测试
Promptfoo 是一个流行的开源评估框架,包含了LLM红队和渗透测试功能。