English(EN) b12285: cuda : fattn mma head sizes 40 72 (#30285)

llama.cpp 为 Gemma 和 Qwen 模型添加了 MMA FlashAttention 支持

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-11 08:45

llama.cpp 项目发布了更新 b12285，引入了对具有 40 和 72 头大小的 MMA FlashAttention 的支持。此增强功能对于像 Gemma 和 Qwen 这样的视觉模型尤其重要，它们使用这些特定的头大小。此次更新支持在 NVIDIA Turing GPU 及更新的 GPU 上为这些大小启用张量核心调度，而像 Volta 和 AMD GPU 这样的旧架构将继续使用瓦片内核。 AI

影响在兼容的 NVIDIA 硬件上提高特定视觉模型的推理性能。

排序理由这是针对特定项目 (llama.cpp) 的软件更新，可提高某些模型架构的性能，而不是新的模型发布或重大的行业范围内的发展。

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

llama.cpp 为 Gemma 和 Qwen 模型添加了 MMA FlashAttention 支持

本文如何被排名

Signal score: 4 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是针对特定项目 (llama.cpp) 的软件更新，可提高某些模型架构的性能，而不是新的模型发布或重大的行业范围内的发展。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

llama.cpp — Releases TIER_1 English(EN) · sihanyu03 · 2026-11-11 08:45

b12285: cuda : fattn mma 头大小 40 72 (#30285)

<ul> <li>cuda : add MMA FlashAttention support for head sizes 40 and 72</li> </ul> <p>Head sizes 40 and 72 (used e.g. in vision towers of Gemma 3/4 and Qwen3-VL) were excluded from every tensor-core dispatch branch and fell back to the tile kernel.</p> <p>The fp16 MMA fragment co…

本文如何被排名

报道来源 [1]

b12285: cuda : fattn mma 头大小 40 72 (#30285)

相关实体

相关话题