一项关于循环 Transformer 的新研究表明,在模型规模灵活的情况下,训练所有循环而非截断反向传播可以获得更好的性能。研究人员训练了近 600 个模型,以制定一个能够考虑循环和截断的缩放定律。研究结果表明,虽然在循环次数固定的情况下截断可以节省计算量,但优化更少的循环并完全训练它们更有效。具体来说,两个完全训练的循环在参数更少且计算量仅略微增加的情况下,达到了与非循环模型相当的性能。 AI
影响 提出了循环 Transformer 的最佳训练策略,有望提高未来模型开发的效率和性能。
排序理由 详细介绍 Transformer 架构缩放研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- backpropagation through time
- GitHub
- Looped Transformers
- Truncated Backpropagation
- xjxyys/Truncate-or-Not
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →