研究人员调查了提示注入防御在小型语言模型(SLM)代理中的有效性,发现当代理自身的模型负责生成安全工件时,许多现有方法都会失败。在15个开源模型中,大多数都未能阻止攻击。为了解决这个问题,开发了一种名为CapLite的新方法,该方法从工具模式派生其策略,并在读取工具结果之前提交写入调用。CapLite通过仅允许在用户请求中存在所有决策参数时进行写入来确保写入的完整性,在超过13,000个回合中成功阻止了攻击,同时保持了与其他方法相当的效用,且使用的令牌数量大大减少。 AI
影响 这项研究为小型语言模型引入了更强大的提示注入防御机制,有望提高各种应用中AI代理的安全性和可靠性。
排序理由 该集群描述了一篇详细介绍新型语言模型防御机制的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →