LoopAhead

LoopAhead 框架将循环 Transformer 的解码速度提高了 7.82 倍

研究人员开发了 LoopAhead，这是一个新的投机解码框架，旨在加速循环 Transformer 的解码过程。该方法通过使用轻量级的超前起草器 (LAD) 来预测基于早期循环状态的多个 token，从而允许更早地起草未来的 token。然后，更深的循环反馈会指导选择哪些起草分支，最终与传统的自回归解码相比，解码速度提高了 7.82 倍，同时保持了原始模型的输出分布。