Yinjie Cheng

研究：微调大型语言模型会显著侵蚀知识编辑

一篇新的研究论文探讨了大型语言模型（LLMs）中知识编辑（KE）与微调的相互作用。研究表明，对已编辑模型进行微调通常会导致所应用编辑的显著衰减，其中像GPT-J上的AlphaEdit等方法会损失超过25%的有效性。研究表明，仅微调已编辑的层可以消除这些编辑，同时对整体性能的影响最小，并且令人惊讶的是，微调未编辑的层会导致更大的编辑衰减。这项工作强调了在完整的LLM应用流程中评估知识编辑技术的重要性，以确保编辑的持久性并解决潜在的安全问题。