Weight-Tied Looped Transformers

权重绑定的 Transformer：递归作为一种算法

一篇新的研究论文探讨了权重绑定的循环 Transformer 的收敛特性，研究了这些架构何时能有效地实现算法。该研究提出了四个关键发现：一个“预算定律”，其中训练预算决定计算速度；一个有利于串行处理而非并行扫描的架构先验；对复杂性墙的重新评估，表明 NC1-完备性成本低廉而群阶计算成本高昂；以及通过预热学习机制的可移植性。研究人员还开发了一种新的测量工具，收敛时间缩放 tau(n,i)，以预测分布外性能。