研究人员开发了一个名为UUE的新框架,用于从大型语言模型(LLM)中遗忘特定信息,而不会降低其整体效用。UUE将遗忘重新构建为可控的模型编辑,将参数更新投影到正交零空间以最小化对通用能力的干扰。该框架包含一个凸的非目标性目标来破坏不良知识,并且可以与轻量级适配器(如UUE-L)一起实现,以便在冻结的LLM骨干上高效部署。在TOFU和WMDP基准上的实验表明,UUE和UUE-L的表现优于现有的遗忘方法。 AI
影响 这项研究通过在不损害性能的情况下实现有针对性的知识移除,有望带来更安全、更注重隐私的LLM。
排序理由 关于LLM遗忘新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →