一位用户在 AMD 7900 XTX GPU 上对 Google 的 Gemma 4 模型进行了基准测试，比较了标准量化与感知量化训练 (QAT) 版本的性能。结果表明，QAT 版本在各种模型尺寸（包括 12B、26B 和 31B 参数）下，提供了显著的速度提升和更低的显存占用，同时没有牺牲输出质量。具体而言，与标准的 Q8_0 版本相比，12B QAT 模型展示了 45% 的更快生成速度和 83% 的更高吞吐量，同时保持了相同的质量。 AI
影响 感知量化训练为更高效的本地 LLM 部署提供了一条途径。
排序理由 现有模型的用户生成基准测试结果。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I’ve been doing lots of testing back and forth with this 7900xtx. All of my workloads were relying on qwen3.6 models, which are amazing fwiw, but I wanted some diversity in thought. Namely for Honcho workload tiers and differing cron jobs. Not ev…
RT @NeoAIForecast: Gemma 4 12B Q4 im Vergleich zu QAT Q4 auf einer AMD Radeon RX 7800 XT unter Verwendung von llama.cpp + ROCm. Durchschnittswerte aus 5 Läufen: UD-Q4KXL 6,85 GiB 1274 Prompt-Token/s 42,3 Generierungs-Token/s HumanEval: 75,0 % (123/164). QAT UD-Q4KXL 6,24 GiB 1395…