实体 Q4_K MTP

Q4_K MTP

PulseAugur coverage of Q4_K MTP — every cluster mentioning Q4_K MTP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

模型发布 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_186358 · Aug 6 · 16:43

Gemma 4 31B 模型通过 Q4_K 量化实现 10% 加速

Reddit r/LocalLLaMA 版块的一位用户分享了他们量化 Gemma 4 31B 模型的经验。通过将 f16 MTP 草稿模型转换为 Q4_K 量化，他们观察到解码速度提升了约 10%，从 65 TPs 提高到 72 TPs。该用户尝试了不同的量化方法，并指出 Q2_K 的效果较差。