研究人员开发了一种名为安全 On-Policy Distillation (SecOPD) 的新方法来对抗自适应提示注入，这是 AI 代理面临的关键威胁。与使用序列级反馈的先前技术不同，SecOPD 在微调期间提供令牌级反馈，使模型能够更精确地学习其输出的哪些部分不安全。这种方法显著降低了攻击成功率，经过防御的 Qwen3.6-27B 模型在面对自适应提示注入时达到了 9.0% 的 ASR，相比之前最先进的 94.0% ASR 有了显著改进。SecOPD 的安全收益也泛化到新领域，例如代理工具调用，其 ASR 为 4.7%，而 Meta-SecAlign 为 5.5%。 AI
影响 通过显著降低提示注入攻击的漏洞，增强了 AI 代理的安全性。
排序理由 该集群描述了一篇详细介绍改进 AI 安全新方法的最新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.21500v1 Announce Type: cross Abstract: Prompt injection is listed as the \#1 threat to AI agents. When an agent accesses external data from websites, files, or emails, an attacker may inject a prompt into the data, saying, "Ignore all prior instructions and perform ." …
SecOPD improves defense against adaptive prompt injection by using token-level feedback during fine-tuning, sharply reducing attack success rates on language models.