llama.cpp 项目发布了 b11873 版本,在其 OpenCL 后端中引入了对 Q2_K 量化格式的初始支持。此更新包括针对通用矩阵向量乘法 (GEMM) 和通用矩阵乘法 (GEMM) 操作的新内核实现,这些操作专门针对使用 dp4a 和面向服务的架构 (SOA) 方法的 Qualcomm Adreno GPU 进行了优化。由 Hongqiang Wang 联合撰写的这些贡献专注于调整这些内核以提高性能。 AI
影响 提高了在特定移动 GPU 上量化模型的推理性能。
排序理由 这是对一个开源项目的软件更新,它提高了特定硬件的性能,而不是核心 AI 模型发布或研究突破。
- Adreno
- dp4a
- GEMM
- General Matrix Vector Multiplication
- Hongqiang Wang
- llama.cpp
- mul_mv_q2_k_f32
- OpenCL
- Q2_K
- Qualcomm
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →