PulseAugur
中
实时 19:21:55
实体 Truncated Backpropagation

Truncated Backpropagation

PulseAugur coverage of Truncated Backpropagation — every cluster mentioning Truncated Backpropagation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_327814 ·

    循环 Transformer:缩放研究表明全反向传播优于截断

    一项关于循环 Transformer 的新研究表明,在模型规模灵活的情况下,训练所有循环而非截断反向传播可以获得更好的性能。研究人员训练了近 600 个模型,以制定一个能够考虑循环和截断的缩放定律。研究结果表明,虽然在循环次数固定的情况下截断可以节省计算量,但优化更少的循环并完全训练它们更有效。具体来说,两个完全训练的循环在参数更少且计算量仅略微增加的情况下,达到了与非循环模型相当的性能。