English(EN) TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization

TORQ框架通过MXFP4量化提升LLM准确性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-19 09:05

研究人员开发了TORQ，一种使用MXFP4格式量化大型语言模型（LLM）的新框架。该方法通过分析和纠正激活量化中的不平衡来解决准确性下降问题。TORQ采用双层正交旋转策略来优化激活空间，显著提高了4位浮点量化下LLM的准确性。 AI

影响通过实现更好的低比特量化，提高LLM效率和准确性，可能降低推理成本。

排序理由该集群包含一篇详细介绍LLM量化新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

Hugging Face Daily Papers TIER_1 English(EN) · 2026-05-19 09:05

TORQ：MXFP4 量化用的双层正交旋转

As Large Language Models (LLMs) advance toward practical deployment, the Microscaling FP4 (MXFP4) format has emerged as a cornerstone for next-generation low-bit inference, owing to its ability to balance high dynamic range with hardware efficiency. However, directly applying MXF…