llama.cpp 项目发布了更新 b11716,引入了对 Q1_0 和 Q2_0 量化格式的支持。此次更新包括针对 hexagon 后端的优化,特别是增强了 Q1_0 权重的 HMX MUL_MAT 路径,并改进了 Q1_0 和 Q2_0 格式的切片和向量操作。这些更改旨在提高 llama.cpp 框架内这些量化类型的性能和效率。 AI
影响 增强了 llama.cpp 框架内特定量化格式的效率,可能提高兼容硬件上的性能。
排序理由 这是针对特定项目 (llama.cpp) 的软件更新,增加了对新量化格式的支持,这是一项技术改进,而不是前沿发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →