r/LocalLLaMA 子版块的用户正在讨论 Qwen 27B 模型最佳量化级别，特别是关注 Q8 变体。一些用户在使用 Unsloth 的 MTP（混合精度训练）等优化时，即使如此，仍在使用 Q8 量化时遇到性能问题。讨论探讨了更高的比特量化或替代模型是否能为编码任务提供更好的性能。 AI
影响 用户正在寻求在本地运行大型语言模型的最佳配置，这表明他们关注实际部署和性能调优。
排序理由 用户讨论模型性能和量化级别，而非新发布或基准测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>everyone is talking about q 4 q 5 and q 6, but. i got some coding that i feel like lower quants kept getting wrong. I can run q 8 from unsloth but feels a bit slow even with MTP ON, should I just resort to q8 35 b a3b at this point?</p> </div><!-…