研究人员开发了一种名为 AdaPop（自适应流行度）的新方法，以改进大型语言模型（LLM）的遗忘过程。与现有方法对数据移除施加统一压力不同，AdaPop 会考虑训练数据中事实的流行度。它结合了局部 token 置信度和源自 Wikidata 或 LLM-as-a-Judge 等外部来源的流行度依赖指数，以平衡信息的遗忘和保留。实验表明，与竞争方法相比，AdaPop 遗忘内容的泄露量显著减少，同时内部指标表明，被遗忘的数据表示与原始模型状态的距离更远，而保留的数据表示则更接近。 AI
影响 这项研究可能有助于更有效、更有针对性地从 LLM 中移除数据，从而增强隐私和对模型行为的控制。
排序理由 该集群包含一篇详细介绍 LLM 遗忘新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
