InjecAgent
PulseAugur coverage of InjecAgent — every cluster mentioning InjecAgent across labs, papers, and developer communities, ranked by signal.
-
新的提示注入检测技术利用跨领域方法
研究人员开发了七种新颖的提示注入攻击检测技术，超越了传统的模式匹配和微调Transformer分类器。这些新方法借鉴了法医语言学、生物信息学和欺骗技术等不同领域的灵感。prompt-shield v0.4.1版本整合了其中三种技术，在多个数据集上显著提高了检测率，尤其是在间接注入攻击方面，同时保持了较低的误报率。
-
新方法通过对工具调用中的风险进行分层来增强LLM代理的安全性
研究人员开发了一种名为角色分层每字段共识风险控制的新方法，以增强语言模型代理的安全性。该技术分别校准工具调用中不同语义角色的风险预算，防止高风险的失败被良性参数所掩盖。该方法在AgentDojo和InjecAgent上使用多种语言模型进行了测试，即使在各种迁移和自适应攻击场景下，也始终能满足特定角色的风险预算。
-
新的RL框架PISmith测试并攻破提示注入防御
研究人员开发了PISmith，一个新颖的强化学习（RL）框架，旨在严格测试大型语言模型（LLMs）中提示注入防御的有效性。该框架训练一个攻击LLM，通过在黑盒设置中优化注入的提示来发现漏洞，在黑盒设置中只能观察到LLM的输出。PISmith结合了自适应熵正则化和动态优势加权，以克服奖励稀疏性等挑战，从而能够从罕见的成功攻击中进行更有效的学习。在13个基准和代理设置上的评估表明，PISmith能够成功突破最先进的防御，其性能优于现有的攻…
-
新基准测试表明，提示优化可能会削弱大型语言模型的对抗性鲁棒性
开发了一个新的基准测试，以研究大型语言模型（LLMs）的提示优化技术是否会削弱它们对抗恶意攻击（特别是提示注入）的鲁棒性。初步研究结果表明，虽然提示优化可以提高在干净数据集上的准确性，但可能会导致对抗提示注入攻击的安全性下降。该基准测试旨在弥合提示优化和提示注入研究社区之间的差距，这两个社区历史上一直独立运作。
-
LLM攻击基准覆盖率不到威胁全景的25%
研究人员开发了一个新的框架来审计旨在测试大型语言模型（LLM）攻击的基准的覆盖范围。该框架基于对500多种推理时攻击的分类法，显示当前领先的基准覆盖的潜在威胁全景不到25%。值得注意的是，服务中断和模型内部等类别缺乏标准化评估，尽管在这些领域已有记录在案的成功攻击。
-
Arc Gate 为 OpenAI 的“无法修复”的提示注入漏洞提供解决方案
OpenAI 已表示，浏览器代理中的提示注入是模型层面的、无法修复的结构性漏洞。然而，一种名为 Arc Gate 的新架构解决方案已在缓解这些攻击方面取得了显著成功。据报道，Arc Gate 在 AgentDojo 基准测试中达到了 100% 的有效性，在 InjecAgent 中达到了 99%，独立验证显示与未受保护的相同模型相比，成功率为 25/25。
-
LLM攻击基准显示安全覆盖存在显著差距
研究人员开发了一个新的框架来审计LLM攻击基准的覆盖范围，揭示了当前评估中存在的显著差距。他们对六个公开基准的分析显示，这些基准总共覆盖了不到25%已识别的威胁面，而服务中断和模型内部等整个类别缺乏标准化测试。该研究还强调了攻击命名广泛碎片化的问题，许多不同的术语用于同一种攻击类型，并且研究高度集中在安全与对齐绕过方面。