llama.cpp 项目发布了一个更新，通过融合各种混合专家（MoE）路由机制来增强其 Metal 后端。此更新专门针对 DeepSeek-V4、DeepSeek-V4.1 以及 GLM、DeepSeek-V2 和 DeepSeek-V3.2 等模型，提高了它们在 Apple Silicon 硬件上的性能。优化包括融合 sigmoid 和 sqrt(softplus) MoE 路由与选择偏差，以及使用 scale-bias 对路由权重进行归一化，从而实现更高效的模型执行。 AI
影响 优化了各种 MoE 模型在 Apple Silicon 上的性能，可能提高 llama.cpp 用户推理的速度和效率。
排序理由 这是对一个开源项目的软件更新，它在特定硬件上优化现有模型，而不是发布新模型或重大的研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
