llama.cpp 项目发布了多项更新,包括 b10814 版本,通过扩展逐元素和数据移动操作的覆盖范围来增强其 OpenCL 后端。此次更新增加了新的单目运算,并优化了设备之间连续数据的复制。之前的版本,如 b10813,为 OpenCL 引入了 Adreno xmem SDPA 路径,并提高了 GQA/掩码注意力的数值精度。该项目最近还将版本号提升至 0.4.0,表明其持续的开发和功能集成。 AI
影响 提高了在各种硬件上本地 LLM 推理的性能和兼容性。
排序理由 这是一个开源项目的软件发布,增强了现有功能,而不是发布新模型或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →