Spurious Forgetting

新研究详述语言模型的虚假遗忘现象

研究人员在语言模型中发现了一种称为虚假遗忘的现象，即在微调过程中知识似乎丢失，但实际上可以恢复。这种遗忘甚至可以自我逆转，旧的事实最初会消失，然后重新出现，最后永久消失。一个包含键的共享结构、集中的新值和网络归一化的最小联想记忆模型重现了这些动态。研究表明，遗忘涉及可逆的、共享的访问丢失以及更慢的、灾难性的个体事实侵蚀，两者的主导地位取决于新数据如何影响旧记忆。