English(EN) Unsloth Gemma 4 QAT MTP assistant models now available

Unsloth 发布优化版 Gemma 4 助手模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-09 16:12

Unsloth 推出了基于 Gemma 4 的新型量化助手模型，针对更快的推理速度进行了优化。这些模型提供 q8_0 等多种量化版本，可通过 Hugging Face 仓库访问。此次发布旨在提高 Gemma 4 模型在本地使用的性能和可访问性。 AI

影响为 Gemma 4 模型提供本地部署的优化版本，可能提高用户的性能。

排序理由发布基于现有架构的优化量化模型。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/ParadigmComplex · 2026-06-09 16:12

Unsloth Gemma 4 QAT MTP assistant models now available

<div class="md"><p>Unsloth Gemma 4 QAT MTP assistant models now available</p> <p>They're both available as q8_0 models named <code>mtp-gemma-4-*.gguf</code> on the root of the directory and in both q8 and larger quants within an <code>MTP</code> folder.</p> <ul> <l…