FlashAttention-V

FlashAttention-V 助力向量架构上的 Transformer 推理

研究人员开发了 FlashAttention-V，这是 FlashAttention 为可扩展向量架构量身定制的优化版本。该新方法旨在提高 Transformer 模型（特别是小型语言模型 SLM）在新兴向量硬件上的效率。FlashAttention-V 通过融合操作、利用注意力头之间的并行性以及增强内存局部性，实现了显著的加速，在特定硬件配置上，预填充速度提升高达 42 倍，解码速度提升高达 11 倍。