T5-11B

Slim attention 将 Transformer 上下文内存减半且无精度损失

研究人员开发了一种名为“slim attention”的新技术，可以在不影响精度的前提下将 Transformer 模型上下文内存大小减半。该方法在数学上与标准注意力机制相同，可将大上下文窗口的推理速度提高高达2倍。对于像Whisper这样的特定模型，slim attention 可将上下文内存减少8倍，从而在特定批处理大小下将 token 生成速度提高5倍。该技术还为T5-11B等模型提供了更大的内存缩减，实现了32倍的降低。