实体
q6_0
q6_0
PulseAugur coverage of q6_0 — every cluster mentioning q6_0 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
BeeLlama.cpp v0.4.1 通过 KVarN 和精度尾部增强 KV 缓存量化
BeeLlama.cpp 发布了 0.4.1 版本，对 KV 缓存量化进行了重大增强。更新包括 KVarN，可在性能略有折衷的情况下提高每比特精度，以及 KV 缓存精度尾部 (KVPT)，允许最近的 token 无损存储，其余的则进行量化。此外，还添加了 q6_0、q6_1、q2_0、q2_1、q3_0 和 q3_1 等新的量化类型，以在精度和 VRAM 使用之间提供更大的灵活性。
-
BeeLlama.cpp v0.4.0 增加了 KVarN 和 KV 缓存精度尾部
BeeLlama.cpp 发布了 v0.4.0 版本，这是对其 llama.cpp 分支的重要更新。此次发布专注于增强 KV 缓存量化功能，引入了 KVarN 以提高每比特的精度，并增加了 KV 缓存精度尾部，将最近的 token 以更高精度格式存储。更新还增加了新的标准 KV 缓存量化类型，如 q6_0 和 q6_1，在平衡精度和 VRAM 使用方面提供了更大的灵活性。虽然 KVarN 和精度尾部等功能仍在针对 SWA 等特定架构进…