实体
Q2_K
Q2_K
PulseAugur coverage of Q2_K — every cluster mentioning Q2_K across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
如何在 llama.cpp 中公平比较量化大语言模型
本文提供了一份使用 llama.cpp 精确比较量化大语言模型（LLMs）的指南。文章强调了按字节匹配文件大小的重要性，而不仅仅是量化标签，因为标签可能无法准确反映实际的比特表示。该指南还强调了保持测试参数一致的必要性，包括使用的文本、上下文窗口大小和评分模式，以确保困惑度（perplexity）和性能的公平比较。
-
llama.cpp 为 Adreno GPU 上的 OpenCL 添加了 Q2_K 量化支持
llama.cpp 项目发布了 b11873 版本，在其 OpenCL 后端中引入了对 Q2_K 量化格式的初始支持。此更新包括针对通用矩阵向量乘法 (GEMM) 和通用矩阵乘法 (GEMM) 操作的新内核实现，这些操作专门针对使用 dp4a 和面向服务的架构 (SOA) 方法的 Qualcomm Adreno GPU 进行了优化。由 Hongqiang Wang 联合撰写的这些贡献专注于调整这些内核以提高性能。
-
llamacpp PR 将 ROCm 提示处理速度提升 15%，Q2_K 加速 28 倍
llamacpp 项目的一项新拉取请求旨在显著提高提示处理速度，特别是对于使用 ROCm 的 AMD GPU。此更新还解决了已发现的一个错误，该错误使 Q2_K 量化方法的速度提高了 28 倍。这些优化有望使拥有 AMD 硬件的用户能够使用更极端的量化配置。