实体
Mmq
Mmq
PulseAugur coverage of Mmq — every cluster mentioning Mmq across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
开发者发现关键的 LLM 配置标志是无效代码
一位开发者发现，一个被广泛分享的环境变量 `GGML_CUDA_FORCE_MMQ=1`，本意是优化 Pascal GPU（如 Tesla P40）的性能，实际上是无效代码。这个变量在社区指南中经常被引用，被认为可以通过 dp4a 指令启用 INT8 矩阵乘法，但底层的 `llama.cpp` 代码在 Pascal GPU 上无条件选择了 MMQ 内核。开发者强调了通过阅读源代码来验证配置标志的重要性，因为仅凭基准测试无法揭示该变量与…
-
llama.cpp CUDA pull request 优化 MoE 模型的 MMQ stream-k 开销
llama.cpp 项目的一个 pull request 旨在减少 CUDA 的 MMQ stream-k 操作中的开销。此优化针对专家混合（MoE）模型，可能导致更快的提示处理速度。这些更改是改善本地大型语言模型推理性能的持续努力的一部分。