研究人员开发了一种新颖的方法，使用随机标签预测头（RLP-heads）来实证研究深度神经网络中的记忆。这些RLP-heads连接在网络的各个深度，从中间表示预测随机标签，通过估计Rademacher复杂度，直接衡量样本级记忆和模型容量。该研究还引入了一种基于RLP-head输出的新正则化技术来减少记忆，发现这种减少会以依赖于数据集和设置的方式影响泛化，挑战了过拟合和记忆的直接等价性。 AI
影响 这项研究为理解和潜在地减轻神经网络中的记忆提供了新工具，这可能带来AI模型泛化能力的提高。
排序理由 该集群包含一篇详细介绍深度学习新研究方法和发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.11541v1 Announce Type: new Abstract: We introduce a straightforward yet effective method to empirically study memorization in deep neural networks for classification tasks. Our approach augments each training sample with auxiliary random labels, which are then predicte…
We introduce a straightforward yet effective method to empirically study memorization in deep neural networks for classification tasks. Our approach augments each training sample with auxiliary random labels, which are then predicted by a random label prediction head (RLP-head). …