研究人员为深度神经网络（DNN）和卷积神经网络（CNN）开发了一种新的初始化策略，该策略提高了训练稳定性，尤其是在高稀疏性场景下。该方法借鉴了混沌边缘（EoC）理论，该理论传统上认为方差随着深度的增加而趋近于零。然而，新方法证明了较大的固定高斯过程有利于高稀疏激活的训练稳定性，使得隐藏层稀疏度高达90%的网络能够被有效训练。 AI
影响 这项研究可能能够实现更高效的稀疏神经网络训练，从而在资源受限的环境中部署更小、更快的模型。
排序理由 该集群包含一篇学术论文，详细介绍了机器学习中的一项新研究发现和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →