Exact Linear Attention

精确线性注意力将Transformer复杂度削减至线性时间

研究人员开发了精确线性注意力（ELA），一种将Transformer计算复杂度降低到线性时间且无近似误差的新型机制。ELA通过施加核约束解决了梯度爆炸和令牌稀释等先前存在的局限性，并引入了诸如用于残差连接的超链接结构和用于增强记忆和隐式强化学习的记忆叶模块等创新。该方法在解码速度和内存使用方面均有显著改进，其应用已扩展到YOLO-LAT等视觉模型，以实现更快的推理和参数减少。