r/LocalLLaMA 子版块的一位用户正在就 Qwen3.6b-27b 模型量化KV缓存征求意见，特别是针对编码任务。用户指出，虽然关于模型本身的量化存在讨论，但关于KV缓存的信息却很少。 AI
影响 关于模型优化技术的细分讨论。
排序理由 用户生成关于LLM技术方面的讨论。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
LLaMA 子版块用户寻求KV缓存量化意见
报道来源 [1]
-
What's this sub geebral opinion on quantisizing the KV cache
<!-- SC_OFF --><div class="md"><p>*general not whatever that word is.</p> <p>Assume I'm talking about Qwen3.6b-27b for coding. </p> <p>I hear a lot about quantisizing the model but almost no opinions on the KV cache for this model. </p> </div><!-- SC_ON -->   submitted by …