LLM Red Teaming

LLM 红队测试：AI 安全测试的新领域

LLM 红队测试是一种专门的安全测试实践，旨在识别 AI 驱动系统中的漏洞，这与传统的 Web 应用程序安全测试有显著不同。该方法侧重于对抗性输入，以发现诸如提示注入、越狱和数据泄露等问题，并认识到 LLM 的概率性本质。测试的关键领域包括对齐层、指令遵循、推理边界和上下文表示，并使用攻击成功率 (ASR) 等指标来量化可利用性。OWASP GenAI LLM Top 10 和 MITRE ATLAS 等框架提供了用于组织这些攻击向量的分类法。