一篇新的研究论文探讨了大型语言模型（LLMs）中知识编辑（KE）与微调的相互作用。研究表明，对已编辑模型进行微调通常会导致所应用编辑的显著衰减，其中像GPT-J上的AlphaEdit等方法会损失超过25%的有效性。研究表明，仅微调已编辑的层可以消除这些编辑，同时对整体性能的影响最小，并且令人惊讶的是，微调未编辑的层会导致更大的编辑衰减。这项工作强调了在完整的LLM应用流程中评估知识编辑技术的重要性，以确保编辑的持久性并解决潜在的安全问题。 AI
影响 强调了在对经过知识编辑的大型语言模型进行微调时，潜在的安全风险和效率降低。
排序理由 在arXiv上发表的研究论文，详细介绍了关于大型语言模型知识编辑和微调的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
