实体 ggml-zendnn

ggml-zendnn

PulseAugur coverage of ggml-zendnn — every cluster mentioning ggml-zendnn across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_145042 · Jul 15 · 12:23

llama.cpp 增加 ZenDNN 后端的 Q8_0 量化支持，提升性能

一项提交给 llama.cpp 项目的拉取请求引入了对 ggml-zendnn 后端内 Q8_0 量化的支持。基准测试显示性能显著提升，在 1024 个 token 的提示大小下，ZenDNN_Q8_0 在 Mixtral-8x7B 模型上的速度比 GGML_CPU_Q8_0 快高达 193%。在 Llama-3.1-8B-Instruct 和 Gemma 等其他测试模型上观察到了类似的改进，尽管提升幅度因提示大小和模型架构而异。