实体
BeeLlama.cpp
BeeLlama.cpp
PulseAugur coverage of BeeLlama.cpp — every cluster mentioning BeeLlama.cpp across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
开发者在 llama.cpp 分支中实现 KVarN KV 缓存压缩
一位开发者在 llama.cpp 项目的一个分支 BeeLlama.cpp 中实现了华为的 KVarN KV 缓存量化技术。该实现允许用户将 KV 缓存压缩 3-5 倍，旨在减少 VRAM 使用量，同时不显著影响模型性能。初步基准测试表明，KVarN 在仅使用 3.5 位的情况下提供了与 4 位量化相当的质量，但速度提升仍在开发中。
-
LLM KV 缓存量化基准测试：q5/q6 性能优于 q8/q4
一项新的基准测试分析显示，KV 缓存量化级别 q5 和 q6 在本地 LLM 方面表现出乎意料地好，优于常用的 q8 和 q4 量化。这项研究使用 BeeLlama.cpp 的一个分支进行，测试了不同 Qwen 3.6 27B 配置下的 38 种量化对。研究结果表明，优先考虑平衡的 KV 缓存量化比在模型权重大量量化的情况下使用更高精度的缓存更有效，尤其是在 VRAM 有限的情况下。
-
BeeLlama.cpp、Qwen 3.6 和 iOS 应用为本地 LLM 加速
本地 LLM 推理的新进展包括 BeeLlama.cpp，它是 llama.cpp 的一个分支，通过 DFlash 和 TurboQuant 等技术显著提升了性能并增加了多模态能力。另外，Qwen 3.6 35B 模型在消费级 GPU 上仅用 12GB VRAM 就展示了令人印象深刻的速度和上下文处理能力，在 128K 上下文下达到了每秒 80 个 token。此外，一个名为 Priv AI 的开源 iOS 应用已发布，允许用户通过 …