PulseAugur
中
实时 04:56:08
English(EN) Overcoming Rank Collapse in Feedback Alignment

通过诱导更高维度的更新来改进反馈对齐的可扩展性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现反馈对齐（FA）的一个关键限制，FA是反向传播的一种生物学上可行的替代方法，这阻碍了其在更深层神经网络架构中的可扩展性。他们观察到FA的误差信号的秩低于反向传播的误差信号，限制了其参数空间的探索。为了解决这个问题，该研究评估了两种方法——Muon优化器和隐藏活动归一化——这些方法在CIFAR100等基准测试中显著提高了FA的性能，使用Resnet-18模型将准确率提高了高达9个百分点。 AI

影响 增强了生物学上可行的学习算法的可扩展性，可能为神经网络训练开辟新的途径。

排序理由 该集群包含一篇详细介绍改进机器学习算法新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Claudia Clopath ·

    Overcoming Rank Collapse in Feedback Alignment

    Backpropagation (BP) is widely viewed as biologically implausible, in part because it requires feedback weights to be the transpose of forward weights for error propagation. Interestingly, when training a network with fixed random feedback weights to circumvent this issue, learni…

相关实体

相关话题