研究人员开发了SONAR，一个旨在中和大型语言模型使用的外部数据中嵌入的恶意指令的新框架。该方法构建用户查询和外部源中句子之间的关系图，利用自然语言推理分数来识别和移除偏离主要任务的注入内容。评估表明，SONAR在各种模型和数据集上的表现显著优于现有防御措施，将攻击成功率降低到接近零。 AI
影响 引入了一种新颖的对抗提示注入攻击的防御机制，可能增强LLM代理的安全性。
排序理由 这是一篇详细介绍LLM安全新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
