一项新近发表在arXiv上的研究对仅前向的深度学习算法与传统反向传播进行了基准测试。研究发现,虽然像Forward-Forward和Cascaded Forward等一些仅前向的方法比反向传播的能源效率低,但Mono-Forward显示出潜力。在某些配置下,Mono-Forward使用的能源和内存少于反向传播,并且在更少的迭代次数下达到可比的测试准确率,尽管它需要更多的迭代次数和能源才能收敛。 AI
影响 通过探索反向传播的替代方案来研究深度学习中的潜在节能效果,这可能会影响未来的硬件和模型训练效率。
排序理由 该集群包含一篇详细介绍深度学习算法基准研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- backpropagation
- Cascaded Forward
- CIFAR-10
- CIFAR-100
- Fashion-MNIST
- Forward-Forward algorithm
- MNIST database
- Mono-Forward
- NVIDIA A100 GPU
- Przemysław Spyra
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →