llama.cpp 项目发布了更新 b11735,解决了其 Metal 后端中与 `moe_reduce` 融合相关的竞态条件。此错误在处理 Kolibri 等某些模型时可能导致罕见的、非确定性的错误结果。该修复程序可在目标张量与输入重叠时阻止融合,并恢复到更安全的、未融合的乘加操作。 AI
影响 确保使用 llama.cpp 上的 Metal 后端的模型的推理更稳定和正确。
排序理由 这是针对推理基础设施的开源项目的错误修复,而不是新的模型发布或重大研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →