English(EN) MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention

MXAttention 框架优化 MXFP4 注意力以用于视频生成

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-28 04:00

研究人员开发了 MXAttention，这是一个新颖的、无数据的训练后量化框架，旨在优化基于扩散的视频生成模型中的 MXFP4 注意力。该框架解决了数值问题，如裁剪-下溢权衡和归一化错误，这些问题通常会降低生成质量。MXAttention 结合了通用最优缩放 (UOS) 以实现独立于分布的缩放，以及预归一化量化 (PNQ) 以保持归一化精度。实验表明，MXAttention 显著缩小了 MXFP4 和 FP16 格式之间的质量差距，以最小的开销实现了接近 FP16 的生成质量，并且在性能上与 NVFP4 基线相比具有竞争力。 AI

影响通过优化注意力机制，提高了基于扩散的视频生成模型的效率和质量。

排序理由详细介绍用于优化 AI 模型性能的新技术框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Jianlin Yu, Jing Lin, Linghui Kong, Aiyue Chen, Weiyi Sun, Chenyu Zeng, Wangli Lan, Jinxi Li, Zhuo Zheng, Ziyang Yue, Danning Ke, Fei Yi, Tianchi Hu, Yuan Ding, Yiwu Yao, Junsong Wang · 2026-07-28 04:00

MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention

arXiv:2607.24377v1 Announce Type: cross Abstract: The quadratic cost of attention is a major bottleneck in diffusion-based video generation models. MXFP4 attention provides a promising path toward efficient inference, but direct MXFP4 quantization often degrades generation qualit…

报道来源 [1]

MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention

相关实体

相关话题