English(EN) Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective

新标准优化深度神经网络的权重初始化

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-16 04:00

研究人员开发了一个新的数学标准，用于选择深度神经网络（DNN）中权重初始化的最优方差。通过分析随机梯度下降（SGD）在连续时间 Fokker-Planck 方程中的行为，他们通过 Kullback-Leibler 散度建立了初始分布与期望成本函数之间的联系。该方法提供了一种具体的、非启发式的方法来确定初始化尺度，与传统的 He-normal 初始化相比，在 MNIST 和 Fashion-MNIST 数据集上的验证结果显示，该方法能带来更低的训练损失和更高的测试准确率。 AI

影响提供了一种基于数学的方法来提高 DNN 的训练效率和性能。

排序理由学术论文，详细介绍了用于优化 DNN 初始化的一项新理论标准。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了用于优化 DNN 初始化的一项新理论标准。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Hiroshi Horii (SU), Sothea Has (KHM) · 2026-10-16 04:00

深度神经网络初始化方差的最优条件：SGD动力学视角

arXiv:2508.12834v2 Announce Type: replace-cross Abstract: Stochastic gradient descent (SGD), one of the most fundamental optimization algorithms in machine learning (ML), can be recast through a continuous-time approximation as a Fokker-Planck equation for Langevin dynamics, a vi…

本文如何被排名

报道来源 [1]

深度神经网络初始化方差的最优条件：SGD动力学视角

相关实体

相关话题