llama.cpp 项目发布了 b12128 版本,修复了与 TOPK_MOE 相关的 CI 抖动问题。这些抖动是由在使用 sqrt_softplus 门控函数时,单精度浮点格式中近似相等的值引起的。此次更新通过调整 logits 以维持相对裕度,确保了更稳定的专家选择,提高了包括中央处理器在内的不同后端的一致性。 AI
影响 对 llama.cpp 项目的稳定性进行了微小改进。
排序理由 这是一个特定项目的软件发布,而不是前沿模型发布或重要的行业事件。
- central processing unit
- llama.cpp
- ServeurpersoCom
- single-precision floating-point format
- sqrt_softplus
- TOPK_MOE
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →