PulseAugur
中
实时 18:34:51
English(EN) 10% faster decode with Q4_K MTP draft model with Gemma 4 31b

Gemma 4 31B 模型通过 Q4_K 量化实现 10% 加速

作者 PulseAugur 编辑部 · [1 个来源] ·

Reddit r/LocalLLaMA 版块的一位用户分享了他们量化 Gemma 4 31B 模型的经验。通过将 f16 MTP 草稿模型转换为 Q4_K 量化，他们观察到解码速度提升了约 10%，从 65 TPs 提高到 72 TPs。该用户尝试了不同的量化方法，并指出 Q2_K 的效果较差。 AI

影响 展示了通过量化技术进行优化的潜力，影响本地 LLM 的部署。

排序理由 用户在模型量化和性能方面的实验和结果分享。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Gemma 4 31B 模型通过 Q4_K 量化实现 10% 加速

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/eightone-81 ·

    10% faster decode with Q4_K MTP draft model with Gemma 4 31b

    <!-- SC_OFF --><div class="md"><p>(Disclaimer: I am a noob and don’t know what I am doing)<br /> Gemma 4 31b</p> <p>unsloth/gemma-4-31B-it-qat-GGUF</p> <p>I took the f16 MTP draft model and quantised it to Q4_K (instead of Q4_0 of unsloth) and gained around 10% in decode: from 65…

相关实体

相关话题