Mobius Learning

Mobius Learning: 循环深度折叠在 Transformer 中的应用

研究人员推出了一种新颖的 Transformer 训练架构 Mobius Learning，该架构利用了循环深度折叠。此方法允许不同的数据流遵循循环移位的块顺序，从而使同一块组能够针对浅层和深层角色进行优化。在 FineWeb 标记上使用修改后的 GPT-2 small 模型进行的实验表明，Mobius Learning 与标准的循环 Transformer 相比，验证损失更低，这表明块不必局限于固定的位置角色。这种方法对于内存受限的…