Delta Attention

新研究提出通过检查点重放实现大型语言模型的精确记录遗漏

一篇新研究论文介绍了一种在大型语言模型（LLMs）中实现精确记录遗漏的方法，这是隐私和数据管理的关键方面。该研究提出了一种“传输标准”和“重放证书”，以确保在删除记录时，模型的状态能够准确地反映记录从未存在过的情景。在Kimi Linear、Mamba-2、Falcon-H1和RWKV-7等模型上的实验表明，现有方法效果不佳，会留下残留痕迹。该论文提出，检查点重放（即从记录插入之前的模型状态恢复，然后重放后续对话）是实现精确遗漏的最有效方法。