PulseAugur
中
实时 07:11:21
English(EN) More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing

新的StableEdit方法通过归一化增强了终身模型编辑

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了StableEdit，一种用于终身模型编辑的新方法，解决了大型语言模型中的灾难性遗忘和模型崩溃问题。核心创新是终身归一化（LN），它使用运行统计数据来稳定值梯度，这对于在扩展编辑期间保持性能至关重要。理论分析表明，LN与岭回归相结合，创建了一个自我强化的稳定性循环，促进了具有渐近正交性和有界范数的参数更新，从而减轻了遗忘和系统性崩溃。StableEdit通过预热阶段和完全白化增强了此循环，以最小的开销提高了长时稳定性。 AI

影响 增强了在不损害现有知识的情况下，用新信息持续更新LLM的能力。

排序理由 详细介绍模型编辑新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的StableEdit方法通过归一化增强了终身模型编辑

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Xin Ma, Wei Chen, Qi Liu, Derong Xu, Zhi Zheng, Tong Xu, Enhong Chen ·

    更多编辑，更稳定：理解序列模型编辑中的终身归一化

    arXiv:2605.11836v2 Announce Type: replace-cross Abstract: Lifelong Model Editing aims to continuously update evolving facts in Large Language Models while preserving unrelated knowledge and general capabilities, yet it remains plagued by catastrophic forgetting and model collapse…

相关实体

相关话题