Fisher Rank Inflation

Fisher Rank Inflation: Memorization Signature in Noisy Deep Learning

研究人员发现了一种称为 Fisher Rank Inflation 的现象，它作为在标签噪声下训练的深度学习模型中记忆的谱特征。当模型从学习干净数据结构过渡到记忆损坏标签时，会发生这种膨胀，导致每例最后一层梯度的有效秩扩大然后收缩。该研究在各种数据集和模型架构中展示了这种效应，显示标签噪声的严重程度与 Fisher 有效秩的增加之间存在相关性，这可能先于可观察到的测试性能下降。