llama.cpp 项目发布了更新 b11436,重点改进和修复了其 ggml-openvino 后端的问题。这些更改解决了图编译、Gemma3 等模型的动态 token 维度以及特定权重量化类型的 GPU 回归问题。更新还包括修复 CONCAT 操作中量化类型的处理,并调整逐元素操作数秩以解决 GPU 插件中的缺陷,特别是影响 Gemma-3 等模型。 AI
影响 提高了通过 llama.cpp 中的 ggml-openvino 后端运行的模型的性能和稳定性。
排序理由 这是开源项目的软件更新,特别是针对后端组件的错误修复和回归问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →