English(EN) Qwen3.6 35B A3B KV cavhe quantizations memory footprint

Qwen3.6 35B KV 缓存量化权衡的讨论

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-19 14:26

在 r/LocalLLaMA 子论坛上的一场讨论，探讨了对 Qwen3.6 35B 模型进行 KV 缓存量化的权衡。用户正在争论是否将量化级别降低到 Q8 以下是有益的，同时考虑了对性能和内存占用的显著影响。 AI

影响本次讨论突显了在本地运行大型语言模型的潜在优化方法，重点关注内存使用和性能权衡。

排序理由关于模型量化权衡的子论坛讨论。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/token---- · 2026-07-19 14:26

Qwen3.6 35B A3B KV 缓存量化内存占用

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1v0rzci/qwen36_35b_a3b_kv_cavhe_quantizations_memory/"> <img alt="Qwen3.6 35B A3B KV cavhe quantizations memory footprint" src="https://preview.redd.it/u9zzf0q057eh1.png?width=640&crop=smart&auto=webp&…