Lifelong Normalization

研究人员提出终身归一化理论，以实现 LLM 的稳定更新

研究人员开发了一个理论框架，用于理解终身归一化（LN），这是持续更新大型语言模型而不导致灾难性遗忘或模型崩溃的关键策略。他们的分析表明，LN 创建了一个自我强化的稳定性循环，确保参数更新是正交且有界的，这直接对抗了遗忘。在此基础上，他们引入了 StableEdit，一种通过显式预热阶段和完全白化来增强这种稳定性的方法，在极低的开销下展示了更长的稳定时间。