English(EN) I tested Qwen3.8 27B KLD for 21 Models at 9 different KV quants that fit on 16GB VRAM (189 benchmarks).

Qwen3.8 27B 模型量化基准测试揭示最佳设置

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 08:11

r/LocalLLaMA 上的一位用户对 Qwen3.8 27B 模型进行了广泛的基准测试，在适合 16GB VRAM 的 9 种量化级别上评估了 21 个不同的模型。分析侧重于 Kullback-Leibler 散度 (KLD) 和困惑度，以确定最佳量化策略。研究结果表明，q5_1/q5_1 量化通常优于 q8_0/q4_0 或 q4_0/q8_0，并且使用 q4_0/q4_0 下可能实现的最高模型量化通常优于 f16/f16 下的较低量化。 AI

影响为显存有限的用户提供优化本地 LLM 性能和资源利用率的见解。

排序理由用户进行的特定模型量化性能基准分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

Migalovo

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 3 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 用户进行的特定模型量化性能基准分析。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Fancy-Snow7 · 2026-10-15 08:11

我测试了 Qwen3.8 27B KLD 在 9 种不同 KV 量化下适配 16GB 显存的 21 个模型（189 个基准测试）。

<div class="md">I calculated KLD and perplexity for Qwen3.8 27B models that fit 16GB VRAM: See comments for the benchmarks. Reddit filters keeps deleting the post. Conclusion: q5_1/q5_1 is almost always better than q8_0/q4_0…

本文如何被排名

报道来源 [1]

我测试了 Qwen3.8 27B KLD 在 9 种不同 KV 量化下适配 16GB 显存的 21 个模型（189 个基准测试）。

相关实体

相关话题