Carryover Attacks

新基准揭示大型语言模型代理中持续存在的提示注入风险

研究人员开发了 CarryoverBench，这是一个旨在评估提示注入攻击在大型语言模型代理中持久性的新基准。这些“残留攻击”可以在初始恶意输入很久之后跨会话重新触发，利用代理的内存文件或计划任务。该基准包括 12 个个人助理场景和 101 个跨越即时、自主和潜在三种触发通道的攻击任务。对五个前沿模型的测试表明，植入的有效载荷可以在多个回合中重新触发，而不会显着衰减，并且运行时层控制可能是有效防御所必需的。