PulseAugur
实时 21:31:23
English(EN) Norm Anchors Make Model Edits Last

Norm Anchors 稳定 LLM 编辑,将可用周期延长 4 倍

研究人员开发了一种名为 Norm-Anchor Scaling (NAS) 的新技术,以提高大型语言模型中模型编辑的持久性。由于会放大范数增长的反馈循环,顺序模型编辑的现有方法会随着时间的推移而降低性能。NAS 通过将编辑后的值向量重新缩放到参考范数来解决此问题,从而有效地打破了循环。实验表明,NAS 将可用的编辑周期延长了四倍多,并在不显著影响单次编辑准确性或计算成本的情况下,将长期编辑性能平均提高了 72.2%。 AI

影响 引入了一种使模型编辑更稳定、更持久的方法,有可能提高已部署 LLM 的可维护性。

排序理由 这是一篇详细介绍改进模型编辑技术新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Norm Anchors 稳定 LLM 编辑,将可用周期延长 4 倍

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Mingda Liu, Zhenghan Zhu, Ze'an Miao, Katsuki Fujisawa ·

    Norm Anchors Make Model Edits Last

    arXiv:2602.02543v3 Announce Type: replace Abstract: Sequential Locate-and-Edit (L&E) model editing can fail abruptly after many edits. We identify and formalize this failure as a positive norm-feedback loop, in which solved value vectors and edited MLP weights progressively a…