一项提交给 llama.cpp 项目的拉取请求引入了对 ggml-zendnn 后端内 Q8_0 量化的支持。基准测试显示性能显著提升，在 1024 个 token 的提示大小下，ZenDNN_Q8_0 在 Mixtral-8x7B 模型上的速度比 GGML_CPU_Q8_0 快高达 193%。在 Llama-3.1-8B-Instruct 和 Gemma 等其他测试模型上观察到了类似的改进，尽管提升幅度因提示大小和模型架构而异。 AI
影响 增强了量化模型的推理性能，可能支持更快的本地 LLM 部署。
排序理由 这是针对特定软件项目 (llama.cpp) 的一个拉取请求，增加了新功能（支持带特定后端的 Q8_0 量化），并包含基准测试结果。[lever_c_demoted from research: ic=1 ai=0.7]
- gemma-4-26B-A4B-it
- gemma4 31B
- ggml-org
- ggml-zendnn
- Llama-3.1-8B-Instruct
- llama.cpp
- Mixtral-8x7B
- Q8_0
- z-sachin
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
