SmallCNN

新的“Fisher Rank Inflation”信号可检测带标签噪声的模型记忆

研究人员发现了一种称为 Fisher Rank Inflation 的现象，它作为一种谱信号，表明深度学习模型何时从学习真实模式过渡到记忆有噪声或损坏的数据。这种过渡以每个示例的最后一层梯度的有效秩暂时扩张然后收缩为标志。研究表明，这种秩膨胀与标签噪声的严重程度直接相关，甚至可能先于测试性能的可观察到的下降，从而提供了一种检测和理解模型记忆的新方法。