研究人员开发了一种新颖的随机估计器，用于计算神经网络 Hessian 矩阵对角块的迹。该方法结合了 Hutchinson 估计器和单次 Hessian-向量乘积，可以在单次反向传播中实现无偏的逐层迹估计。该技术对于监控神经网络训练特别有用，因为它可以通过分析经验风险的曲率来区分健康和病态的训练模式，而这对于大型网络来说是无法直接获得的。该估计器已在 CIFAR 数据集上训练的 ResNet 和 VGG 等模型中，有效地检测出了标签记忆现象。 AI
影响 提供了一种更易于理解和监控神经网络训练内部动态的方法，有助于调试和提高模型性能。
排序理由 该集群包含一篇研究论文，详细介绍了一种用于分析神经网络训练动态的新计算方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2605.25674v1 Announce Type: new Abstract: The loss and the norm of its gradient separate the healthy and the pathological regimes of neural-network training only weakly, whilst the curvature of the empirical risk differs qualitatively between them but is inaccessible explic…
The loss and the norm of its gradient separate the healthy and the pathological regimes of neural-network training only weakly, whilst the curvature of the empirical risk differs qualitatively between them but is inaccessible explicitly at parameter counts $P\sim 10^{6}-10^{8}$. …