AdaPop

新的 AdaPop 方法通过优先考虑流行事实来改进 LLM 遗忘

研究人员开发了一种名为 AdaPop（自适应流行度）的新方法，以改进大型语言模型（LLM）的遗忘过程。与现有方法对数据移除施加统一压力不同，AdaPop 会考虑训练数据中事实的流行度。它结合了局部 token 置信度和源自 Wikidata 或 LLM-as-a-Judge 等外部来源的流行度依赖指数，以平衡信息的遗忘和保留。实验表明，与竞争方法相比，AdaPop 遗忘内容的泄露量显著减少，同时内部指标表明，被遗忘的数据表示与原始模型…