实体 Mmq

Mmq

PulseAugur coverage of Mmq — every cluster mentioning Mmq across labs, papers, and developer communities, ranked by signal.

总计 · 30天

0

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_03576 · Apr 25 · 14:22

llama.cpp CUDA pull request 优化 MoE 模型的 MMQ stream-k 开销

llama.cpp 项目的一个 pull request 旨在减少 CUDA 的 MMQ stream-k 操作中的开销。此优化针对专家混合（MoE）模型，可能导致更快的提示处理速度。这些更改是改善本地大型语言模型推理性能的持续努力的一部分。