English(EN) I'm still surprised on how good the kv quantization has become

KV量化在大上下文检索中展现出惊人的有效性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-15 09:44

一位Reddit用户对KV量化的有效性表示惊讶，指出即使在Q4_0量化级别下，它也能从10万token的上下文中准确检索信息。该用户分享了展示此能力的截图，其中一个例子引用了2026年一本书中的冷门知识，表明模型的性能超出了常见训练数据。 AI

排序理由该集群在用户论坛中讨论了一个技术细节（KV量化），但并未提出新的研究、产品发布或重要的行业新闻。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/DeepBlue96 · 2026-06-15 09:44

我仍然对kv量化变得如此之好感到惊讶

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1u6bwz0/im_still_surprised_on_how_good_the_kv/"> <img alt="I'm still surprised on how good the kv quantization has become" src="https://preview.redd.it/78b1nuc63f7h1.png?width=140&height=87&auto=webp&a…