PulseAugur
中
实时 00:50:14
实体 k-quants

k-quants

PulseAugur coverage of k-quants — every cluster mentioning k-quants across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_329281 ·

    llama.cpp b11979 发布通过优化量化提升 Arc Pro B70 性能

    llama.cpp 的最新版本 b11979 引入了针对各种量化格式的显著性能优化,尤其是在 Arc Pro B70 GPU 上。这些更新侧重于对 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K 和 IQ3 等格式的量化反量化存储进行向量化处理,从而在预填充场景中实现了显著的速度提升。例如,Q6_K 模型性能提升了近 29%,而其他格式也获得了可观的提升,尽管新布局的预填充和解码速度基本保持不变。

  2. TOOL · CL_79340 ·

    llama.cpp PR 将 k-quant 模型速度提升高达 3.78 倍

    llama.cpp 项目的一个拉取请求(pull request)为 k-quantized 模型引入了优化,显著提高了预填充速度。这些更改侧重于各种量化级别(包括 Q4、Q5 和 Q8)的矩阵乘法(matmul)操作。在 M2 Pro 芯片上的基准测试显示,某些量化的速度提升高达 3.78 倍,从而提高了本地大型语言模型的性能。