研究人员开发了GPT-Red，这是一种旨在发现针对大型语言模型的提示注入攻击的自动化代理。该代理使用可扩展的自我博弈算法进行训练，并且在与人类红队测试人员的比较中表现出卓越的性能，成功攻破了之前的模型，如GPT-5.5。GPT-Red的开发是旨在增强前沿LLM鲁棒性工作的一部分，预计更强大的模型将反过来促进创建更强大的红队测试代理，从而促进AI安全性的持续改进循环。 AI
影响 这种自动化的红队测试方法可以加速漏洞的发现，并提高前沿LLM的整体安全性和鲁棒性。
排序理由 该集群描述了一篇研究论文，其中详细介绍了一种用于LLM自动化红队测试的新方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.26115v1 Announce Type: cross Abstract: We introduce \textbf{GPT-Red}, an automated red-teaming agent that is trained to discover novel prompt injection attacks against frontier LLMs. The goal of this model is to evaluate and improve the robustness of our production sys…
We introduce GPT-Red, an automated red-teaming agent that is trained to discover novel prompt injection attacks against frontier LLMs. The goal of this model is to evaluate and improve the robustness of our production systems. To this end, we use it to adversarially train GPT-5.6…