研究人员开发了MuEdit,这是一种新颖的方法,旨在解决在跨多个领域更新大型语言模型(LLM)时出现的知识冲突。现有方法由于域间零空间不对齐而难以进行顺序更新,其中不同的任务几何会缩小公共零空间。Mu-Edit通过首先对任务进行排序以最小化干扰,然后采用动态低秩近似在必要时扩展零空间来解决此问题。实验表明,与当前基线相比,Mu-Edit在多任务编辑方面表现更优,同时还能保持模型的通用能力并适应新任务。 AI
影响 这项研究可以实现对LLM更强大、更高效的更新,这对于在各种应用中保持其性能和相关性至关重要。
排序理由 该集群描述了在arXiv上的一篇学术论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →