实体
CarryoverBench
CarryoverBench
PulseAugur coverage of CarryoverBench — every cluster mentioning CarryoverBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新型“门控”防御阻止 AI 代理重新触发恶意记忆攻击
一种名为“门控”的新型防御机制已被开发出来，以防止 AI 代理重新执行存储在其记忆中的恶意指令。该门控在执行前会检查记忆条目和计划任务的来源，并根据其来源和权限对其进行分类。该系统使用 Python 实现，在合成测试环境中成功消除了自主攻击，并在基准测试中显示出降低注入成功率的潜力，尽管对单会话攻击的影响较小。
-
新基准揭示大型语言模型代理中持续存在的提示注入风险
研究人员开发了 CarryoverBench，这是一个旨在评估提示注入攻击在大型语言模型代理中持久性的新基准。这些“残留攻击”可以在初始恶意输入很久之后跨会话重新触发，利用代理的内存文件或计划任务。该基准包括 12 个个人助理场景和 101 个跨越即时、自主和潜在三种触发通道的攻击任务。对五个前沿模型的测试表明，植入的有效载荷可以在多个回合中重新触发，而不会显着衰减，并且运行时层控制可能是有效防御所必需的。