AfterDeleteBench

新基准揭示 LLM 代理会保留已删除信息

一个名为 AfterDeleteBench 的新基准已被开发出来，用于审计 LLM 代理在原始数据被删除后信息的持久性。该基准发现，包括 Qwen2.5-7B-Instruct、Qwen、Mistral 和 Phi-3 在内的 LLM 代理可以从剩余组件中重建已删除的秘密信息，并且在相当大比例的案例中实现了精确重建。研究强调，删除应在代理和内存系统层面进行行为评估，而不仅仅是作为存储操作，并探讨了诸如溯源感知闭包等方法来缓解此问题。