实体
Dinh et al.
Dinh et al.
PulseAugur coverage of Dinh et al. — every cluster mentioning Dinh et al. across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论将深度学习的平坦性植根于黎曼几何
研究人员开发了一个新的理论框架，通过将平坦性的概念植根于黎曼几何来理解深度学习模型的泛化能力。该方法利用 Fisher 信息矩阵 (FIM) 来定义一个重参数化不变的锐度度量，解决了传统欧几里得度量的局限性。在 MNIST 和 CIFAR-10 数据集上的实验表明，这种新的黎曼锐度度量能够准确地跟踪泛化性能，并与关于 SGD 对更平坦极值偏置的理论预测一致。
-
神经网络平坦度与泛化能力在新研究中关联
一项新的研究论文探讨了神经网络中模型平坦度与泛化能力之间的关系。尽管先前的工作表明对称性使平坦度成为一个空泛的指标，但本研究证明了在学习具有同质神经网络的多索引模型时存在这种联系。该研究确定了特定类别的非泛化插值器，并证明了“最平坦”的插值器能够实现低总体损失，从而在各种激活函数和数据分布中建立了平坦度与泛化能力之间的直接联系。