LLaMA-13B

新方法QFlash和ELSA提升Vision Transformer的注意力效率

研究人员开发了两种新方法来提高vision transformer中注意力机制的效率。QFlash专注于为FlashAttention实现纯整数运算，在某些模型上实现了显著的加速和能耗降低，而没有精度损失。另一方面，ELSA重新构建了注意力机制，以在实数运算中保留精确的softmax语义，在各种平台和精度上提供硬件无关的性能提升和内存减少。