English(EN) BeeLlama.cpp v0.4.1: KVarN, KV precision tail, q2_0-q3_1 KV cache, improved support. KLD benchmarks: tail 1024 makes kvarn5 and q6_0 match q8_0, for much less VRAM

BeeLlama.cpp v0.4.1 通过 KVarN 和精度尾部增强 KV 缓存量化

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-26 16:28

BeeLlama.cpp 发布了 0.4.1 版本，对 KV 缓存量化进行了重大增强。更新包括 KVarN，可在性能略有折衷的情况下提高每比特精度，以及 KV 缓存精度尾部 (KVPT)，允许最近的 token 无损存储，其余的则进行量化。此外，还添加了 q6_0、q6_1、q2_0、q2_1、q3_0 和 q3_1 等新的量化类型，以在精度和 VRAM 使用之间提供更大的灵活性。 AI

影响通过先进的 KV 缓存量化技术，提供更高效的本地 LLM 部署。

排序理由这是 llama.cpp 特定分支的软件更新，并非来自前沿实验室的发布。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

BeeLlama.cpp v0.4.1 通过 KVarN 和精度尾部增强 KV 缓存量化

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Anbeeld · 2026-07-26 16:28

BeeLlama.cpp v0.4.1: KVarN, KV precision tail, q2_0-q3_1 KV cache, improved support. KLD benchmarks: tail 1024 makes kvarn5 and q6_0 match q8_0, for much less VRAM

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1v78me1/beellamacpp_v041_kvarn_kv_precision_tail_q2_0q3_1/"> <img alt="BeeLlama.cpp v0.4.1: KVarN, KV precision tail, q2_0-q3_1 KV cache, improved support. KLD benchmarks: tail 1024 makes kvarn5 and q6_0 match…

报道来源 [1]

BeeLlama.cpp v0.4.1: KVarN, KV precision tail, q2_0-q3_1 KV cache, improved support. KLD benchmarks: tail 1024 makes kvarn5 and q6_0 match q8_0, for much less VRAM

相关实体

相关话题