LLM漏洞类型
本页面记录了潜在的LLM漏洞和故障模式的类别。
潜在的故障分为以下几类：
每种漏洞类型都由Promptfoo的开源LLM红队工具支持，Plugin列对应工具中的插件ID。了解更多。
隐私与安全
| 类别 | 描述 | 插件 |
|---|---|---|
| PII泄露 | 暴露个人身份信息，可能导致身份盗窃或隐私泄露。 | pii, pii:api-db, pii:direct, pii:session, pii:social |
| 其他隐私侵犯 | 内容可能侵犯个人隐私或数据保护，违反隐私法律并削弱用户信任。 | harmful:privacy |
| 网络犯罪与黑客攻击 | 与未经授权访问、恶意软件或网络攻击相关的内容，可能危及数字安全。 | harmful:cybercrime |
| RBAC（基于角色的访问控制） | 实施适当访问控制的失败，可能导致未经授权访问敏感信息。 | rbac |
| BFLA（功能级授权失效） | 对特定功能或操作实施适当授权的失败，可能允许用户执行超出其预期权限的操作（参见OWASP API安全十大）。 | bfla |
| BOLA（对象级授权失效） | 允许用户访问或修改属于其他用户或超出其授权范围的资源的漏洞，危及数据完整性和隐私（参见OWASP API安全十大）。 | bola |
| SSRF（服务器端请求伪造） | 允许攻击者诱导服务器端应用程序向攻击者选择的任意域发出HTTP请求的漏洞，可能导致未经授权访问内部资源或数据泄露（参见OWASP API安全十大）。 | ssrf |
| 跨会话泄露 | 系统不恰当地将一个会话中的信息泄露给另一个会话。 | cross-session-leak |
技术漏洞
| 类别 | 描述 | 插件 |
|---|---|---|
| 提示提取 | 对旨在暴露系统提示和/或指令的恶意输入的漏洞。 | prompt-extraction |
| 劫持 | 未经授权或离题的资源使用。 | hijacking |
| 提示注入 | 对旨在操纵模型行为、可能危及系统安全的恶意输入的漏洞。 | prompt-injection |
| 间接提示注入 | 恶意内容被注入到受信任的数据源或提示中使用的变量中，间接影响模型行为并可能危及系统安全的漏洞。 | indirect-prompt-injection |
| SQL注入 | 对试图执行未经授权的数据库查询、可能危及数据完整性和安全的攻击的漏洞。 | sql-injection |
| 命令注入 | 对试图执行未经授权的shell命令、可能危及系统安全的攻击的易感性。 | shell-injection |
| ASCII走私 | 一种使用特殊Unicode字符在文本中嵌入不可见指令的技术 | ascii-smuggling |
犯罪活动
| 类别 | 描述 | 插件 |
|---|---|---|
| 暴力犯罪 | 与身体伤害、袭击或谋杀相关的内容，可能鼓励或协助现实世界中的暴力行为。 | harmful:violent-crime |
| 非暴力犯罪 | 关于欺诈、盗窃和其他可能促进非法行为的犯罪活动的信息。 | harmful:non-violent-crime |
| 性犯罪 | 涉及性侵犯、骚扰或非自愿行为的内容，可能伤害个人或促进犯罪行为。 | harmful:sex-crime |
| 儿童剥削 | 剥削或伤害未成年人的材料，存在严重的伦理和法律风险。 | harmful:child-exploitation |
| 非法药物 | 推广或促进非法药物使用或交易的内容，可能助长药物滥用和犯罪活动。 | harmful:illegal-drugs |
有害内容
| 类别 | 描述 | 插件 |
|---|---|---|
| 无差别武器 | 关于大规模杀伤性武器或非法军备的信息，可能威胁公共安全。 | harmful:indiscriminate-weapons |
| 化学与生物武器 | 关于制造或使用化学或生物制剂作为武器的具体细节，对公共健康构成重大风险。 | harmful:chemical-biological-weapons |
| 仇恨与歧视 | 宣传对特定群体的仇恨、歧视或暴力，营造敌对环境，并可能违反反歧视法律。 | harmful:hate |
| 自残 | 鼓励或协助自残或自杀的信息，可能对脆弱用户构成危险。 | harmful:self-harm |
| 性内容 | 可能不适合某些观众或违反内容政策的露骨或不当性材料。 | harmful:sexual-content |
| 骚扰与欺凌 | 针对个人的有害或辱骂行为，为用户创造不安全的环境。 | harmful:harassment-bullying |
| 图形内容 | 可能对用户造成心理困扰的令人不安或暴力的图像或描述。 | harmful:graphic-content |
| 不安全行为 | 推广可能造成身体伤害或公共健康风险的危险活动或健康错误信息。 | harmful:unsafe-practices |
错误信息与滥用
| 类别 | 描述 | 插件 |
|---|---|---|
| 错误信息与虚假信息 | 传播可能操纵公众意见或导致有害决策的虚假或误导性信息。 | harmful:misinformation-disinformation |
| 专业建议 | 在金融或医学等专业领域提供可能有害的建议，而没有适当的资格。 | harmful:specialized-advice |
| 版权侵犯 | 侵犯知识产权的材料，可能导致法律问题并损害创意产业。 | harmful:copyright-violations |
| 竞争对手 | 无意中提及或认可竞争产品或服务，可能损害商业利益。 | competitors |
| 过度代理 | 模型行为超出其预期范围或能力，可能导致错误或用户体验不一致。 | excessive-agency |
| 幻觉 | 生成虚假或误导性信息，破坏系统的可靠性和可信度。 | hallucination |
| 过度依赖 | 模型对错误用户输入的易感性，可能传播错误或误导性信息。 | overreliance |
不同应用类型的常见LLM漏洞
下表显示了不同LLM应用类型的常见漏洞。 🚨表示该漏洞通常适用于该应用类型，而✅表示通常对该类型的应用不是问题。
| 漏洞 | RAG | 代理 | 聊天机器人 |
|---|---|---|---|
| ASCII走私 | 🚨 | 🚨 | 🚨 |
| 功能级授权失效 (BFLA) | 🚨 | 🚨 | ✅ |
| 对象级授权失效 (BOLA) | 🚨 | 🚨 | ✅ |
| 化学与生物武器 | 🚨 | 🚨 | 🚨 |
| 儿童剥削 | 🚨 | 🚨 | 🚨 |
| 竞争对手 | 🚨 | 🚨 | 🚨 |
| 上下文窗口溢出 | 🚨 | 🚨 | 🚨 |
| 版权侵犯 | 🚨 | 🚨 | 🚨 |
| 网络犯罪与黑客攻击 | 🚨 | 🚨 | 🚨 |
| 数据泄露 | 🚨 | 🚨 | ✅ |
| 数据中毒 | 🚨 | ✅ | ✅ |
| 过度代理 | 🚨 | 🚨 | 🚨 |
| 图形内容 | 🚨 | 🚨 | 🚨 |
| 幻觉 | 🚨 | 🚨 | 🚨 |
| 骚扰和欺凌 | 🚨 | 🚨 | 🚨 |
| 仇恨和歧视 | 🚨 | 🚨 | 🚨 |
| 劫持 | 🚨 | 🚨 | 🚨 |
| 非法药物 | 🚨 | 🚨 | 🚨 |
| 无差别武器 | 🚨 | 🚨 | 🚨 |
| 错误信息 和虚假信息 | 🚨 | 🚨 | 🚨 |
| 非暴力犯罪 | 🚨 | 🚨 | 🚨 |
| 过度依赖 | 🚨 | 🚨 | 🚨 |
| 个人身份信息暴露 | 🚨 | 🚨 | ✅ |
| 提示注入 | 🚨 | 🚨 | 🚨 |
| 提示泄露 | 🚨 | 🚨 | 🚨 |
| 基于角色的访问控制（RBAC） | 🚨 | 🚨 | ✅ |
| 自残 | 🚨 | 🚨 | 🚨 |
| 服务器端请求伪造（SSRF） | 🚨 | 🚨 | ✅ |
| 性犯罪 | 🚨 | 🚨 | 🚨 |
| 性内容 | 🚨 | 🚨 | 🚨 |
| 命令注入 | 🚨 | 🚨 | ✅ |
| 专业建议 | 🚨 | 🚨 | 🚨 |
| SQL注入 | 🚨 | 🚨 | ✅ |
| 工具/API操纵 | ✅ | 🚨 | ✅ |
| 未授权访问 | 🚨 | 🚨 | ✅ |
| 不安全实践 | 🚨 | 🚨 | 🚨 |
| 暴力犯罪 | 🚨 | 🚨 | 🚨 |
请注意，具体使用情况会有所不同。大多数应用程序是上述内容的组合！