研究人员开发了一种名为 Norm-Anchor Scaling (NAS) 的新技术,以提高大型语言模型中模型编辑的持久性。由于会放大范数增长的反馈循环,顺序模型编辑的现有方法会随着时间的推移而降低性能。NAS 通过将编辑后的值向量重新缩放到参考范数来解决此问题,从而有效地打破了循环。实验表明,NAS 将可用的编辑周期延长了四倍多,并在不显著影响单次编辑准确性或计算成本的情况下,将长期编辑性能平均提高了 72.2%。 AI
影响 引入了一种使模型编辑更稳定、更持久的方法,有可能提高已部署 LLM 的可维护性。
排序理由 这是一篇详细介绍改进模型编辑技术新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →