r/LocalLLaMA 子版块的一名用户正在寻求关于优化其 Qwen 3.6 大型语言模型使用的建议。他们正在比较 27B 和 35B 参数版本，特别询问用于编码任务的最佳量化方法。讨论包括 Q4KM（带全 KV 量化）与 Q6K（带 Q8_0 KV 量化）等选项，其中一位用户建议 35B Q8_0 版本更优。 AI
影响 用户正在讨论本地 LLM 部署的最佳配置，影响开发者的性能和可访问性。
排序理由 用户讨论模型版本和量化，而非新发布或基准测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I've been using Qwen 3.6 35BA3B for a while in Q8_0 quant, KV Q8_0 as well. I'm trying to explore Qwen 2.6 27B. Any tips on which quant to use?</p> <p>Context size is 262144</p> <ol> <li><p>Q4KM with full KV quant (fp16)</p></li> <li><p>Q6K with …