实体
kv quantization
kv quantization
PulseAugur coverage of kv quantization — every cluster mentioning kv quantization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Qwen3.6-27B KV量化实验揭示性能权衡
一位r/LocalLLaMA上的用户进行了一项实验，评估KV量化对Qwen3.6-27B模型的影响，特别是比较了Q8、Q6和Q5的量化级别。研究结果表明，Q8通常比Q6和Q5表现更好，从Q6降至Q5时观察到更显著的性能下降。实验还发现，如果'v'组件需要Q4_0量化，使用未量化的KV（q8_0, q8_0）的Q6可以产生出人意料的好结果，甚至在某些条件下与Q8收敛。用户建议使用适合VRAM的最高量化级别，并选择（q8_0, q8_0）…
-
KV量化在大上下文检索中展现出惊人的有效性
一位Reddit用户对KV量化的有效性表示惊讶，指出即使在Q4_0量化级别下，它也能从10万token的上下文中准确检索信息。该用户分享了展示此能力的截图，其中一个例子引用了2026年一本书中的冷门知识，表明模型的性能超出了常见训练数据。