一种名为 MACaQ 的新型开源量化方法，其性能优于 Unsloth 和 Bartowski 等现有方法。基准测试显示，MACaQ 在 Qwen3-4B 和 Qwen3.6-35B-A3B 等各种模型上实现了更低的 KL 散度（量化误差的度量），文件大小通常相似或更小。该方法由华为 CSL 开发，还拥有高效的量化速度，能够在有限的 GPU 内存下，在一小时内处理一个 122B 参数的模型。 AI
影响 为在本地运行大型语言模型提供了更高的效率和性能。
排序理由 提出了具有基准测试结果的新型开源模型量化方法。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
