English(EN) MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation

新的MX-SAFE格式通过自适应量化大幅降低AI能耗

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-26 04:00

研究人员推出了一种新颖的动态量化格式MX-SAFE，旨在降低深度学习的计算成本。该格式通过自适应分配指数和尾数的比特，增强了现有的微缩放（MX）标准，支持训练和推理，并提高了精度。所提出的MX-SAFE格式在现有MXFP格式上平均精度提高了高达3.55%，并在专用加速器上实现了与BF16基线相当的精度，同时能耗降低了24.9%。 AI

影响这种新的量化格式有望显著降低训练和运行AI模型的能耗和计算成本。

排序理由该集群包含一篇学术论文，详细介绍了提高AI硬件效率的新技术格式。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Dahoon Park, Jahyun Koo, Sangwoo Hwang, Jaeha Kung · 2026-05-26 04:00

MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation

arXiv:2605.24391v1 Announce Type: cross Abstract: As the demand for deep learning grows, cost reduction through quantization has become essential for both training and inference. In 2022, the Open Compute Project (OCP) consortium standardized narrow precision formats for deep lea…

报道来源 [1]

MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation

相关实体

相关话题