Mingda Liu

Norm Anchors 稳定 LLM 编辑，将可用周期延长 4 倍

研究人员开发了一种名为 Norm-Anchor Scaling (NAS) 的新技术，以提高大型语言模型中模型编辑的持久性。由于会放大范数增长的反馈循环，顺序模型编辑的现有方法会随着时间的推移而降低性能。NAS 通过将编辑后的值向量重新缩放到参考范数来解决此问题，从而有效地打破了循环。实验表明，NAS 将可用的编辑周期延长了四倍多，并在不显著影响单次编辑准确性或计算成本的情况下，将长期编辑性能平均提高了 72.2%。