研究人员探讨了仅调整偏置、保持权重固定的神经网络的训练动力学。他们发现,偏置调整的梯度由激活码决定,激活码是分割输入空间的活跃神经元的二元模式。训练可以看作是一系列线性最小二乘问题,当神经元切换激活状态时会发生变化。在非常宽的网络极限下,训练动力学收敛于基于初始激活码的线性最小二乘问题。 AI
排序理由 该集群包含一篇详细介绍神经网络偏置仅训练动力学的理论发现和实验支持的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →