Context-Ready Transformer

新的上下文就绪 Transformer 架构提高了速度和性能

研究人员推出了一种新颖的循环神经网络架构——上下文就绪的 Transformer，旨在提高 Transformer 的效率和性能。该新模型在每个 token 进入 D 层 Transformer 块之前对其进行预上下文化，从而有效地为顺序推理创建了一个循环神经网络。与标准 Transformer 相比，该架构在速度和性能上都有显著提升，在 A100 GPU 上，D=5 的模型在生成速度上比 12 层 Transformer 快 1.7 倍。