研究人员已经证明，具有大步长的离散梯度下降与多通路深度线性网络中的梯度流会产生不同的结果。虽然梯度流预测会出现“赢家通吃”的情况，即特征集中在单个通路中，但本研究表明，大步长梯度下降会导致信号在通路之间重新分配。这种在稳定边缘发生的再平衡阶段，有利于共享表示而不是持续的单通路主导，从而阐明了网络深度如何影响通路竞争。 AI
影响 阐明了离散梯度下降动力学如何导致共享表示，这与通路专业化的理论预测形成对比。
排序理由 该集群包含一篇详细介绍机器学习新理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →