AgentDojo
PulseAugur coverage of AgentDojo — every cluster mentioning AgentDojo across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新基准测试表明，提示优化可能会削弱大型语言模型的对抗性鲁棒性
开发了一个新的基准测试，以研究大型语言模型（LLMs）的提示优化技术是否会削弱它们对抗恶意攻击（特别是提示注入）的鲁棒性。初步研究结果表明，虽然提示优化可以提高在干净数据集上的准确性，但可能会导致对抗提示注入攻击的安全性下降。该基准测试旨在弥合提示优化和提示注入研究社区之间的差距，这两个社区历史上一直独立运作。
-
LLM攻击基准覆盖率不到威胁全景的25%
研究人员开发了一个新的框架来审计旨在测试大型语言模型（LLM）攻击的基准的覆盖范围。该框架基于对500多种推理时攻击的分类法，显示当前领先的基准覆盖的潜在威胁全景不到25%。值得注意的是，服务中断和模型内部等类别缺乏标准化评估，尽管在这些领域已有记录在案的成功攻击。
-
New Protocol Enables LLMs to Safely Control Small Devices
研究人员推出了一种名为设备上下文协议（DCP）的新架构，旨在使大型语言模型（LLM）能够安全地控制受限设备。DCP比现有的MCP等协议更轻量级，典型帧大小小于50字节，适用于微控制器。它在协议层集成了安全功能，如能力范围限定和范围检查，以防止LLM发出有害命令。一项实证研究表明，在多个LLM和对抗性提示下，DCP成功拒绝了100%的能力升级尝试和78%的提示注入尝试。
-
Arc Gate 为 OpenAI 的“无法修复”的提示注入漏洞提供解决方案
OpenAI 已表示，浏览器代理中的提示注入是模型层面的、无法修复的结构性漏洞。然而，一种名为 Arc Gate 的新架构解决方案已在缓解这些攻击方面取得了显著成功。据报道，Arc Gate 在 AgentDojo 基准测试中达到了 100% 的有效性，在 InjecAgent 中达到了 99%，独立验证显示与未受保护的相同模型相比，成功率为 25/25。
-
LLM攻击基准显示安全覆盖存在显著差距
研究人员开发了一个新的框架来审计LLM攻击基准的覆盖范围，揭示了当前评估中存在的显著差距。他们对六个公开基准的分析显示，这些基准总共覆盖了不到25%已识别的威胁面，而服务中断和模型内部等整个类别缺乏标准化测试。该研究还强调了攻击命名广泛碎片化的问题，许多不同的术语用于同一种攻击类型，并且研究高度集中在安全与对齐绕过方面。
-
新攻击利用LLM代理中继，绕过对齐防御
研究人员发现了一种在采用自带密钥（BYOK）系统的LLM代理架构中的新漏洞。这些架构通过第三方中继路由LLM流量，造成了一个完整性缺口，恶意中继可以在对齐后、代理执行前篡改LLM响应。这种“中继篡改攻击”（RTA）可以成功修改消息，使即使是对齐的LLM也失效，在各种LLM和代理环境中，攻击成功率高达99.1%。
-
新的基准和安全方法出现，用于先进的大模型代理
新研究探讨了AI代理的开发和评估，重点关注它们在复杂环境中导航和遵守策略的能力。StarDojo在《星露谷物语》等开放式模拟中对代理性能进行基准测试，揭示了视觉理解和推理方面的局限性。CostBench在动态旅行规划场景中评估大模型代理的成本最优规划和适应能力，显示出经济推理方面的显著差距。其他论文介绍了使用基于自我报告的具身大模型代理进行个体模拟的方法，开发用于高效多代理推理的符号通信，以及解决由长时域代理中的上下文压缩引起的“治理…