Selective Gradient Masking

研究证实表征纠缠阻碍AI模型遗忘

研究人员进行了一项对照实验，以检验一个长期存在的直觉：表征纠缠（即知识域在神经网络中共享结构）会使遗忘更加困难。通过训练六个在生物学和非生物学知识之间具有不同程度解纠缠的语言模型，他们发现解纠缠程度更高的模型在保留-遗忘权衡方面始终表现更好。具体而言，在三种标准的遗忘方法中，解纠缠程度最高的模型产生的保留成本显著降低，直接证明了表征纠缠会导致遗忘过程中的附带损害。