llama.cpp项目发布了b12151版本,其中包括对ggml-cuda的更新,以在MoE选择中清理post-bias NaNs。此版本解决了与llama.cpp使用的ggml库的CUDA实现中混合专家(MoE)选择相关的问题。此次更新旨在提高此特定组件中数值计算的稳定性和正确性。 AI
影响 对开源推理库的次要更新,不太可能对行业产生广泛影响。
排序理由 这是对开源项目的次要代码更新,不是新模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →