llama.cpp 项目发布了 b11477 版本,该版本引入了跨不同模型处理张量标志的优化。此次更新将仅限 trunk 和仅限 MTP 模型的检测逻辑集中到 llama_model_base 中的一个辅助函数。此外,包括 DeepSeek4、nemotron-h、Qwen35、qwen35moe、qwen3next 和 qwen4exp 在内的多个模型现在支持仅限 trunk 文件,增强了兼容性和效率。 AI
影响 提高了在本地运行各种 LLM 的效率和兼容性。
排序理由 开源项目软件发布,专注于运行 LLM 的基础设施。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →