研究人员发现机器学习遗忘评估中存在一个显著的伪影,尤其影响使用 BatchNorm(批量归一化)的模型。这种被称为“BatchNorm 幻觉”的伪影,可以在不改变任何权重的情况下,通过在单次前向传播中改变模型的归一化状态,来逆转明显的遗忘指标。研究表明,这种幻觉可以将遗忘准确率提高多达 78 个百分点,并且可以通过使用 GroupNorm 代替 BatchNorm 来缓解。研究结果表明,由于这种测量偏差,先前的评估可能高估了遗忘方法的有效性。 AI
影响 突出了机器学习遗忘评估中的一个关键缺陷,可能使先前的结果无效,并需要新的评估协议。
排序理由 学术论文,详细介绍了机器学习遗忘评估方法中的一种新伪影。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →