一位来自 r/MachineLearning 的用户正在寻找在生成红队攻击方面有效的语言模型（LLMs）的推荐。他们对能够创建诸如毒性、提示注入和越狱等多样化攻击的闭源和开源模型都感兴趣。此外，用户正在寻找一个可用于基准测试或验证 AI 代理安全性的公开数据集，最好是包含预定义的高质量攻击。 AI
影响 识别 AI 安全工具的当前需求以及用于对抗性测试的可用模型和数据集中的潜在差距。
排序理由 用户查询，寻求与 AI 安全相关的 AI 模型和数据集的推荐。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Hi everyone, I'm currently working on a framework to evaluate the security of LLM applications and AI agents, and I've been stuck on one part for a while.</p> <p>Most red-teaming frameworks rely on an LLM to generate adversarial prompts. My quest…