研究人员开发了一种名为安全头部（Heads of Security, HoS）的新型防御机制，旨在提高大型语言模型（LLM）对抗提示注入攻击的鲁棒性。HoS通过学习重新分配受信任和不受信任的token之间的注意力，使模型能够在不执行恶意指令的情况下处理外部信息。在Llama 3.3 70B Instruct和GPT OSS 20B上的评估表明，HoS在抵抗自适应攻击方面显著优于SecAlign++和ASIDE等现有防御方法，同时在效用和智能体基准测试中也保持了强大的性能。 AI
影响 这项研究引入了一种新颖的防御机制，可以显著增强LLM在实际应用中的安全性和可靠性。
排序理由 这是一篇详细介绍提高LLM安全性的新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
