Local Support Learning

新的本地支持学习框架解决了大型语言模型中的灾难性遗忘问题

研究人员开发了本地支持学习（LSL），一个旨在解决预训练大型模型中灾难性遗忘问题的新颖框架。LSL 将遗忘视为权重矩阵输入空间中的一个几何问题来解决，并提出了一种改进标准基于梯度的优化器的保留目标。该框架集成了带有门控功能的权重适配器，该适配器经过训练，仅激活来自其特定训练分布的输入，从而实现本地化更新。该方法已成功解决了多达 70 亿参数的大型语言模型中的遗忘问题，在多个训练阶段以高效的内存和计算使用量保留了预训练和微调的能力。