llama.cpp 项目发布了 b11763 版本,引入了多个新的 OpenCL GEMM 操作变体,特别针对小批量大小进行了优化。这些更新包括修复了越界读取问题,并移除了之前强制将权重放置在 CPU 上的条件。该版本还为 Q4_0 和 Q4_K 等多种量化格式增加了特定优化,并增加了对多种操作系统和硬件架构的支持,例如 Apple Silicon、Linux、Android 和 Windows。 AI
影响 提高了在各种硬件和操作系统上运行大型语言模型的性能和兼容性。
排序理由 这是一个用于运行 LLM 的工具的软件发布,而不是核心 AI 模型发布或研究论文。
- ACL Graph
- Adreno
- android
- Apple Silicon
- dp4a
- GEMM
- gemv_noshuffle_q1_0_f32
- iOS
- KleidiAI
- Linux
- llama.cpp
- macOS
- Microsoft Windows
- mul_mm_f16_f32_l4_lm
- mul_mv_mxfp4_f32_flat
- OpenCL
- OpenEuler
- Q4_0
- Q4_K
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →