English(EN) SoScale: Second-Order Scale Search for FP4 Quantization

SoScale方法提高了LLM的FP4量化精度

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-14 05:00

研究人员开发了SoScale，一种用于大型语言模型FP4量化中的二阶尺度搜索的新颖方法。该技术旨在提高FP4量化的准确性，这对于减小内存占用和推理成本至关重要。SoScale根据尺度代码对层输出的影响进行优化，而不仅仅是局部重构误差，并与GPTQ风格的误差恢复相结合。在Qwen3模型上的实验表明，SoScale在MXFP4、NVFP4和HiF4等各种FP4格式下始终能减少量化损失。 AI

影响这项研究可能通过降低内存和计算需求，从而实现更高效的LLM部署。

排序理由该集群描述了一篇关于LLM量化新颖方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 16 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇关于LLM量化新颖方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Pengxiang Zhao, Xing Li, Hui-Ling Zhen, Weizhe Lin, Xianzhi Yu, Zhenhua Dong · 2026-11-14 05:00

SoScale：FP4量化中的二阶尺度搜索

arXiv:2611.16426v1 Announce Type: cross Abstract: Low-bit quantization reduces the memory footprint and inference cost of large language models (LLMs), yet accurate FP4 quantization remains challenging. Practical formats such as MXFP4, NVFP4, and HiF4 pair a 4-bit floating-point …

本文如何被排名

报道来源 [1]

SoScale：FP4量化中的二阶尺度搜索

相关实体

相关话题