研究人员开发了一种名为移不变方差估计器（SIVE）的新方法，以更准确地测量训练过程中神经网络损失景观的几何形状。在网络未处于稳定最小值时，估计局部学习系数（LLC）的传统方法容易产生偏差。SIVE通过使用一种基于方差的方法来解决这个问题，该方法固有地消除了未知的加性基线，从而能够更清晰地将几何损失波动与噪声分离开来。在玩具模型和深度神经网络上的实验表明，即使在旧方法失败的情况下，SIVE也能准确跟踪训练过程中的结构相变。 AI
影响 为理解和诊断神经网络训练动态提供了更强大的工具。
排序理由 详细介绍分析神经网络训练新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Law of Total Variance
- Local Learning Coefficient
- Shift-Invariant Variance Estimator
- Singular Learning Theory
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
