Xin Ma

新的StableEdit方法通过归一化增强了终身模型编辑

研究人员开发了StableEdit，一种用于终身模型编辑的新方法，解决了大型语言模型中的灾难性遗忘和模型崩溃问题。核心创新是终身归一化（LN），它使用运行统计数据来稳定值梯度，这对于在扩展编辑期间保持性能至关重要。理论分析表明，LN与岭回归相结合，创建了一个自我强化的稳定性循环，促进了具有渐近正交性和有界范数的参数更新，从而减轻了遗忘和系统性崩溃。StableEdit通过预热阶段和完全白化增强了此循环，以最小的开销提高了长时稳定性。