maglev

Maglev：新的循环 Transformer 架构提高了效率

研究人员推出 Maglev，这是一种新颖的循环 Transformer 架构，旨在提高效率和性能。Maglev 使用双模型系统：一个预填充模型，该模型访问完全注意力以生成内存目标；以及一个解码器模型，该模型采用滑动窗口注意力并进行循环键/值注入，以进行下一个 token 预测。该架构旨在泛化滑动窗口注意力，同时在训练期间保持并行性，与现有的循环和滑动窗口 Transformer 基线相比，在验证损失和下游预训练基准测试中均有所提高。