TFR-Net

新的TFR-Net方法改进了LLM的持续遗忘

研究人员开发了一种名为轨迹引导遗忘恢复网络（TFR-Net）的新方法，以应对从大型语言模型中持续遗忘数据的挑战。该方法跟踪通道级风险，以区分持久和瞬时数据的影响，仅抑制持久影响。TFR-Net还旨在通过重新激活有助于保留效用的休眠通道来恢复模型容量，前提是效用下降在可接受的范围内。实验表明，与现有方法相比，TFR-Net在遗忘效果和模型效用保留之间提供了更好的平衡。