研究人员发现反馈对齐（FA）方法在训练神经网络时存在一个关键限制，该方法绕过了反向传播的生物学不可靠性。他们发现FA的误差信号秩低于反向传播中使用的误差信号，限制了参数空间的探索并阻碍了其向更深层架构的可扩展性。为解决此问题，该研究提出了两种机制：一种名为Muon的优化器，可使权重更新正交化；以及一种隐藏活动归一化，可促进激活正交性。这些方法显著提高了FA在CIFAR100等基准测试上的性能，表明增加更新几何的降维对于FA作为反向传播替代方案的可扩展性至关重要。 AI
影响 引入了提高神经网络训练效率和可扩展性的技术，可能支持更复杂的模型。
排序理由 详细介绍改进神经网络训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.11123v1 Announce Type: new Abstract: Backpropagation (BP) is widely viewed as biologically implausible, in part because it requires feedback weights to be the transpose of forward weights for error propagation. Interestingly, when training a network with fixed random f…
Backpropagation (BP) is widely viewed as biologically implausible, in part because it requires feedback weights to be the transpose of forward weights for error propagation. Interestingly, when training a network with fixed random feedback weights to circumvent this issue, learni…