PulseAugur
中
实时 03:29:13
English(EN) I Tested Q4_K_M vs MXFP4 on the Same Laptop — The Supposedly-Faster New Format Lost

较旧的 LLM 量化格式在 Apple M2 上优于较新的格式

作者 PulseAugur 编辑部 · [1 个来源] ·

最近在 Apple M2 笔记本电脑上对两个本地大型语言模型 (LLM) 进行的测试显示，较旧的 Q4_K_M 量化格式的表现优于较新的 MXFP4 格式。Q4_K_M 格式实现了每秒 4.7 个 token，在 44 秒内完成了 200 个 token 的生成，而 MXFP4 仅达到每秒 2.6 个 token，完成相同任务耗时 71 秒。作者推测，MXFP4 在 M2 芯片上的性能受到反量化成本以及其依赖的硬件功能 M2 不完全支持的阻碍，而 M4 等较新芯片则不受此影响。 AI

影响 这一发现表明，与较新格式的营销宣传相反，旧的量化格式在某些硬件上可能仍然是性能上的首选。

排序理由 该条目详细介绍了在特定硬件上不同 LLM 量化格式的比较性能测试，并提供了经验结果和分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

较旧的 LLM 量化格式在 Apple M2 上优于较新的格式

本文如何被排名

Signal score
34 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目详细介绍了在特定硬件上不同 LLM 量化格式的比较性能测试，并提供了经验结果和分析。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Pitambar Mahato ·

    我用同一台笔记本测试了 Q4_K_M 与 MXFP4 — 所谓的更快的新格式反而输了

    <p>I tested two local LLMs in two different quantization formats on the same laptop, on the same prompt, three trials each. The result is the opposite of what the marketing says: the supposedly-faster new format lost by 1.8x.</p> <p>Q4_K_M (the older integer-based format) hit <st…

相关实体

相关话题