实体
Pierfrancesco Beneventano
Pierfrancesco Beneventano
PulseAugur coverage of Pierfrancesco Beneventano — every cluster mentioning Pierfrancesco Beneventano across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
论文质疑权重衰减在深度学习稳定性中的作用
一篇新论文研究了权重衰减在深度学习训练稳定性中的作用，挑战了其作为简单正则化技术的普遍看法。研究分析了权重衰减如何影响“稳定性边缘”的参数动态和损失锐度，证明它能有效减缓渐进锐化。研究还揭示了一种依赖于架构的相变，其中权重衰减在CNN中会抑制振荡，但在MLP中，由于参数向量和锐度梯度的对齐，它会在理论边界以下稳定锐度。
-
过于锐利，过于自信：校准如何跟随曲率
研究人员在深度神经网络的训练过程中，发现了模型校准、曲率和边距之间存在着密切的联系。他们的研究表明，在整个优化过程中，预期校准误差（Expected Calibration Error）与基于曲率的锐度（sharpness）密切相关。通过引入一个关注鲁棒边距尾部和局部平滑度的、感知边距的训练目标，他们在不损害准确性的前提下，实现了更好的样本外校准。