Asymmetric Langevin Unlearning (ALU)

新研究应对 LLM 中的机器遗忘挑战

研究人员正在开发大型语言模型（LLM）中机器遗忘的新方法，这一过程对于隐私和知识管理至关重要。几篇论文探讨了在不完全重新训练的情况下从训练模型中删除特定数据的技术。这些技术包括用于专家混合（Mixture-of-Experts）模型的 TRACE、用于平滑预测概率的 LoTUS 以及用于学习 token 级别重要性的 ATWU。其他研究则关注遗忘的最佳实践，例如使用多样化的邻居集和模块化采样，并强调了多个训练种子对于可靠评估的重要性。…