LoopFold

LoopFold 并行化 Transformer 深度，缩短延迟并提高准确性

研究人员开发了 LoopFold，一种通过并行化其循环深度来增强循环 Transformer 性能的新颖方法。该方法允许同一 token 前缀的多个计算循环并发运行，从而显著降低解码延迟。实验表明，更深的 LoopFold 配置可实现更高的准确性，一个五阶段的 LoopFold 模型与九个循环的普通模型相比，延迟降低了 46%，同时提高了零样本准确性。