Pierfrancesco Beneventano
PulseAugur coverage of Pierfrancesco Beneventano — every cluster mentioning Pierfrancesco Beneventano across labs, papers, and developer communities, ranked by signal.
-
新的“μ子”优化技术使矩阵梯度趋于平缓
一篇新研究论文介绍了一种名为“μ子”（Muon）的优化技术，该技术用极向因子取代矩阵梯度。此方法保持了奇异方向，但使更新谱趋于平缓，作者认为这在某些训练模式下可能是有益的。实验表明，与AdamW相比，μ子可以在小规模NanoGPT预训练中改善验证损失，尽管其有效性取决于具体的训练模式。
-
新研究解决深度学习偏差、训练动态和可靠性问题
研究人员正在探索新的理论框架和实用方法来改进深度学习模型。一篇论文介绍了DISCO，一种通过估计条件距离相关性来减轻数据集偏差的技术，在各种数据集上的表现优于现有方法。另一项研究将神经网络训练视为一个Hamilton-Jacobi问题，将其与热带代数和偏微分方程联系起来，并提供了对泛化和鲁棒性的见解。此外，新的研究挑战了校准本身就能改善早期退出神经网络的假设，提出了一种考虑预测正确性和计算成本的替代方法。最后，研究正在调查深度网络在训…
-
论文质疑权重衰减在深度学习稳定性中的作用
一篇新论文研究了权重衰减在深度学习训练稳定性中的作用，挑战了其作为简单正则化技术的普遍看法。研究分析了权重衰减如何影响“稳定性边缘”的参数动态和损失锐度，证明它能有效减缓渐进锐化。研究还揭示了一种依赖于架构的相变，其中权重衰减在CNN中会抑制振荡，但在MLP中，由于参数向量和锐度梯度的对齐，它会在理论边界以下稳定锐度。
-
过于锐利，过于自信：校准如何跟随曲率
研究人员在深度神经网络的训练过程中，发现了模型校准、曲率和边距之间存在着密切的联系。他们的研究表明，在整个优化过程中，预期校准误差（Expected Calibration Error）与基于曲率的锐度（sharpness）密切相关。通过引入一个关注鲁棒边距尾部和局部平滑度的、感知边距的训练目标，他们在不损害准确性的前提下，实现了更好的样本外校准。