GA+KL

LLM遗忘研究揭示知识纠缠影响数据泄露

一篇新的研究论文探讨了知识纠缠如何影响大型语言模型（LLM）在遗忘（unlearning）后保留的信息。研究发现，在遗忘之前，纠缠程度更高的事实被回忆的频率更高。然而，不同的遗忘算法，特别是 WHP 和 GA+KL，对这种关系产生不同的影响，GA+KL 甚至会反转这种关系。研究人员开发了一个预测模型，通过在遗忘过程开始之前估计模型遗忘后的事实准确性来审计 LLM。