Conflict Index

新的MuEdit方法解决了多任务更新中LLM的知识冲突

研究人员开发了MuEdit，这是一种新颖的方法，旨在解决在跨多个领域更新大型语言模型（LLM）时出现的知识冲突。现有方法由于域间零空间不对齐而难以进行顺序更新，其中不同的任务几何会缩小公共零空间。Mu-Edit通过首先对任务进行排序以最小化干扰，然后采用动态低秩近似在必要时扩展零空间来解决此问题。实验表明，与当前基线相比，Mu-Edit在多任务编辑方面表现更优，同时还能保持模型的通用能力并适应新任务。