llama.cpp 项目发布了更新 b11474,为 GLM5-Next 模型引入了重要的优化和功能。此次更新包括实现了一个多令牌预测 (MTP) 图,称为 NextN,通过修剪不必要的计算来提高效率。这些更改还解决了提取合同和共享尾部回滚问题,并引入了加载仅 MTP 或仅 trunk 的 GGUF 文件的能力,从而允许加载草稿模型。 AI
影响 优化 GLM5-Next 模型的推理,可能提高 llama.cpp 用户的性能和效率。
排序理由 这是一个开源项目的软件发布,为特定模型实现了功能,属于研究和开发类别。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →