一篇新的研究论文对 Geoffrey Hinton 提出的层局部训练方法——前向-前向（FF）学习算法的可扩展性提出了质疑。该研究引入了一种新工具 DTG-FF，该工具在包括 ImageNet-100 在内的多个真实世界基准测试中为 FF 设定了新的最先进水平。然而，研究表明，在更大的数据集和更高的类别数量下，FF 的表现明显逊于标准的反向传播（BP），这表明存在实际性能上限。此外，该论文还驳斥了 FF 在规模化方面的内存效率论点，表明在商品硬件上 BP 更为高效。 AI
影响 证明了像前向-前向这样的层局部训练方法与反向传播相比，在真实世界数据上存在显著局限性。
排序理由 该集群包含一篇详细介绍新研究发现和基准测试的学术论文。
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.06539v1 Announce Type: cross Abstract: Forward-Forward (FF) learning [Hinton, 2022] replaces backpropagation with strictly layer-local goodness updates. Recent FF-CNN work has narrowed the gap to BP on 32x32 benchmarks, raising the question of whether layer-local train…
Forward-Forward (FF) learning [Hinton, 2022] replaces backpropagation with strictly layer-local goodness updates. Recent FF-CNN work has narrowed the gap to BP on 32x32 benchmarks, raising the question of whether layer-local training is becoming a viable alternative at realistic …