研究人员开发了一个新的理论框架,用于理解具有跨层关联初始化的深度残差网络的行为。他们的工作扩展了先前的猜想,证明了这些关联初始化可以在不同的随机微分方程模型之间连续过渡。该研究确定了一个关键的缩放因子和一个由Hermite过程驱动的Young微分方程控制的独特渐近极限,在某些条件下,该方程可以简化为分数布朗运动。 AI
影响 为深度学习模型的初始化提供了理论见解,可能指导未来的架构设计。
排序理由 该集群包含一篇详细介绍深度学习理论进展的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Brownian stochastic differential equation
- Fractional Brownian motion
- Gaussian sequence
- Hermite process
- Marion et al.
- Young differential equation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →