llama.cpp 项目发布了 b11895 版本,其中包含多项专注于 Metal 性能和矩阵运算的更新。这些更新解决了大型矩阵输出偏移量中可能出现的溢出问题,并拓宽了批处理偏移量和 MUL_MAT_ID 令牌索引。该版本还提到了 macOS、iOS、Linux、Android 和 openEuler 的各种构建配置,其中一些配置已被禁用。 AI
影响 提高了在 Apple 硬件和特定 Linux 发行版上本地 LLM 推理的性能。
排序理由 这是特定项目的软件发布,不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →