Rectified Looped Transformer

Rectified Looped Transformer 提高了稳定性和效率

研究人员推出了一种新颖的架构——Rectified Looped Transformer (RLT)，旨在提高循环 Transformer 的效率和稳定性。与可能出现状态尺度增长和扰动放大的标准循环 Transformer 不同，RLT 采用了一种受流模型启发的插值方案。该方法在线性地插值循环的当前状态与其预测之间，分配状态变化并促进更平滑的轨迹。理论分析表明 RLT 可以限制状态幅度并减少扰动放大，而经验评估显示，在没有额外参数或计…