RLP-head

新方法使用随机标签研究深度神经网络中的记忆

研究人员开发了一种新颖的方法，使用随机标签预测头（RLP-heads）来实证研究深度神经网络中的记忆。这些RLP-heads连接在网络的各个深度，从中间表示预测随机标签，通过估计Rademacher复杂度，直接衡量样本级记忆和模型容量。该研究还引入了一种基于RLP-head输出的新正则化技术来减少记忆，发现这种减少会以依赖于数据集和设置的方式影响泛化，挑战了过拟合和记忆的直接等价性。