InjecAgent
PulseAugur coverage of InjecAgent — every cluster mentioning InjecAgent across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新基准测试表明，提示优化可能会削弱大型语言模型的对抗性鲁棒性
开发了一个新的基准测试，以研究大型语言模型（LLMs）的提示优化技术是否会削弱它们对抗恶意攻击（特别是提示注入）的鲁棒性。初步研究结果表明，虽然提示优化可以提高在干净数据集上的准确性，但可能会导致对抗提示注入攻击的安全性下降。该基准测试旨在弥合提示优化和提示注入研究社区之间的差距，这两个社区历史上一直独立运作。
-
LLM攻击基准覆盖率不到威胁全景的25%
研究人员开发了一个新的框架来审计旨在测试大型语言模型（LLM）攻击的基准的覆盖范围。该框架基于对500多种推理时攻击的分类法，显示当前领先的基准覆盖的潜在威胁全景不到25%。值得注意的是，服务中断和模型内部等类别缺乏标准化评估，尽管在这些领域已有记录在案的成功攻击。
-
Arc Gate 为 OpenAI 的“无法修复”的提示注入漏洞提供解决方案
OpenAI 已表示，浏览器代理中的提示注入是模型层面的、无法修复的结构性漏洞。然而，一种名为 Arc Gate 的新架构解决方案已在缓解这些攻击方面取得了显著成功。据报道，Arc Gate 在 AgentDojo 基准测试中达到了 100% 的有效性，在 InjecAgent 中达到了 99%，独立验证显示与未受保护的相同模型相比，成功率为 25/25。
-
LLM攻击基准显示安全覆盖存在显著差距
研究人员开发了一个新的框架来审计LLM攻击基准的覆盖范围，揭示了当前评估中存在的显著差距。他们对六个公开基准的分析显示，这些基准总共覆盖了不到25%已识别的威胁面，而服务中断和模型内部等整个类别缺乏标准化测试。该研究还强调了攻击命名广泛碎片化的问题，许多不同的术语用于同一种攻击类型，并且研究高度集中在安全与对齐绕过方面。