BF16 FlashAttention-4

新的VC-Attention框架提升视频生成速度和准确性

研究人员开发了VC-Attention，一个旨在提高Diffusion Transformers中注意力机制效率和准确性的新颖框架，这对于视频生成至关重要。该方法通过平滑低比特量化中的值异常值和优化softmax计算来解决相关问题。VC-Attention在各种硬件平台和视频生成模型上，与现有的低比特注意力基线相比，展示了显著的速度提升和保真度改进。