llama.cpp 增加 ZenDNN 后端的 Q8_0 量化支持，提升性能

一项提交给 llama.cpp 项目的拉取请求引入了对 ggml-zendnn 后端内 Q8_0 量化的支持。基准测试显示性能显著提升，在 1024 个 token 的提示大小下，ZenDNN_Q8_0 在 Mixtral-8x7B 模型上的速度比 GGML_CPU_Q8_0 快高达 193%。在 Llama-3.1-8B-Instruct 和 Gemma 等其他测试模型上观察到了类似的改进，尽管提升幅度因提示大小和模型架构而异。 AI

影响 增强了量化模型的推理性能，可能支持更快的本地 LLM 部署。

排序理由 这是针对特定软件项目 (llama.cpp) 的一个拉取请求，增加了新功能（支持带特定后端的 Q8_0 量化），并包含基准测试结果。[lever_c_demoted from research: ic=1 ai=0.7]

在 r/LocalLLaMA 阅读 →

• gemma-4-26B-A4B-it
• gemma4 31B
• ggml-org
• ggml-zendnn
• Llama-3.1-8B-Instruct
• llama.cpp
• Mixtral-8x7B
• Q8_0
• z-sachin

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →