实体
k-quants
k-quants
PulseAugur coverage of k-quants — every cluster mentioning k-quants across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
llama.cpp b11979 发布通过优化量化提升 Arc Pro B70 性能
llama.cpp 的最新版本 b11979 引入了针对各种量化格式的显著性能优化,尤其是在 Arc Pro B70 GPU 上。这些更新侧重于对 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K 和 IQ3 等格式的量化反量化存储进行向量化处理,从而在预填充场景中实现了显著的速度提升。例如,Q6_K 模型性能提升了近 29%,而其他格式也获得了可观的提升,尽管新布局的预填充和解码速度基本保持不变。
-
llama.cpp PR 将 k-quant 模型速度提升高达 3.78 倍
llama.cpp 项目的一个拉取请求(pull request)为 k-quantized 模型引入了优化,显著提高了预填充速度。这些更改侧重于各种量化级别(包括 Q4、Q5 和 Q8)的矩阵乘法(matmul)操作。在 M2 Pro 芯片上的基准测试显示,某些量化的速度提升高达 3.78 倍,从而提高了本地大型语言模型的性能。