研究人员开发了新的机器学习遗忘方法,该方法可以在不完全重新训练的情况下从AI模型中移除特定数据。一种名为SHRED的方法,利用自蒸馏和Logit降级来识别和移除遗忘集中的高信息量Token,在遗忘效果和模型效用之间实现了新的帕累托最优权衡。另一种方法,保留-正交代理遗忘(ROSU),通过最大化遗忘增益同时最小化对保留目标的影响来约束遗忘过程,以保留非目标知识。对于多模态大型语言模型,一种零空间约束的对比视觉遗忘技术将目标视觉知识与保留知识分开,从而减轻了性能下降。 AI
影响 机器学习遗忘领域的这些进展可以实现更高效、更精确地从AI模型中移除数据,这对于隐私和合规至关重要。
排序理由 多篇研究论文介绍了新颖的机器学习遗忘方法。
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →