Mmq
PulseAugur coverage of Mmq — every cluster mentioning Mmq across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
llama.cpp b11846 更新 ggm-cuda 后端以提升性能
llama.cpp 项目发布了 b11846 版本，更新了其 ggm-cuda 后端。此版本强制 DP4A MMQ 瓦片高度为 warp 大小的倍数，旨在提高性能和兼容性。
-
旧硬件上的大型语言模型推理揭示了不断演变的真相
作者详细介绍了在旧硬件上运行大型语言模型推理的经验，并将其与科学理解的不断演变进行了类比。起初，他们对最佳配置持有几种假设，例如禁用 Flash Attention 或强制使用特定内核，但这些假设后来被实际应用和硬件限制所推翻。学到的关键经验包括通过受控实验、阅读源代码以及随着时间的推移观察生产证据来验证主张的重要性，而不是仅仅依赖社区的主张或临时测量。这种专注于理解底层机制而非仅仅关注结果的严谨方法，被认为是性能工程的真正产物。
-
开发者发现关键的 LLM 配置标志是无效代码
一位开发者发现，一个被广泛分享的环境变量 `GGML_CUDA_FORCE_MMQ=1`，本意是优化 Pascal GPU（如 Tesla P40）的性能，实际上是无效代码。这个变量在社区指南中经常被引用，被认为可以通过 dp4a 指令启用 INT8 矩阵乘法，但底层的 `llama.cpp` 代码在 Pascal GPU 上无条件选择了 MMQ 内核。开发者强调了通过阅读源代码来验证配置标志的重要性，因为仅凭基准测试无法揭示该变量与…
-
llama.cpp CUDA pull request 优化 MoE 模型的 MMQ stream-k 开销
llama.cpp 项目的一个 pull request 旨在减少 CUDA 的 MMQ stream-k 操作中的开销。此优化针对专家混合（MoE）模型，可能导致更快的提示处理速度。这些更改是改善本地大型语言模型推理性能的持续努力的一部分。