研究人员开发了一种均场理论来理解神经网络中的 Dropout，将其视为临界信号传播的扰动。该理论为平滑和类 ReLU 激活函数建立了不同的普适类，详细说明了它们不同的临界指数和缩放行为。该框架还提出了最优的 Dropout 调度策略，可以在不增加计算成本的情况下降低测试损失并提高准确性，并在 MLP 和 Vision Transformers 上测试了预测结果。 AI
影响 提供了一个理论框架来优化 Dropout 调度，可能提高模型的性能和效率。
排序理由 该集群包含一篇学术论文，详细介绍了理解机器学习技术的新理论框架。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.21648v1 Announce Type: cross Abstract: We develop a mean-field theory of dropout as a perturbation of critical signal propagation at the edge of chaos. Dropout shifts the perfect-alignment fixed point, making the depth scale for information propagation finite even at c…
We develop a mean-field theory of dropout as a perturbation of critical signal propagation at the edge of chaos. Dropout shifts the perfect-alignment fixed point, making the depth scale for information propagation finite even at critical initialization. We derive critical and cro…