PulseAugur
中
实时 22:18:07
English(EN) b11453: llama: remove the gather path of the glm5-next sparse attention (#30042)

llama.cpp 移除 GLM5-Next 稀疏注意力 gather 路径

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 项目发布了更新版本 b11453，移除了 GLM5-Next 稀疏注意力的 gather 路径。此更改通过依赖纯粹的 matmul 和 softmax 来简化注意力机制，现在 flash attention 后端更有效地处理掩码行。此次更新还调整了填充的映射方式以及 slot mask 的使用方式。 AI

影响 此次更新优化了 llama.cpp 中的注意力机制，可能导致 GLM5-Next 等模型的推理速度更快。

排序理由 这是与 LLM 推理相关的开源项目的代码更新，特别是优化注意力机制。[lever_c_demoted from research: ic=1 ai=1.0]

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp 移除 GLM5-Next 稀疏注意力 gather 路径

本文如何被排名

Signal score
9 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是与 LLM 推理相关的开源项目的代码更新，特别是优化注意力机制。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. llama.cpp — Releases TIER_1 English(EN) · ServeurpersoCom ·

    b11453: llama: 移除 glm5-next 稀疏注意力中的 gather 路径 (#30042)

    <p>The gather path attended over the selected latents with a plain<br /> matmul and softmax. It only ran with n_ubatch &lt;= 16, and the flash<br /> attention backends now skip the masked rows through n_kv_max, so<br /> the scatter path covers every case.</p> <p>Drop the gather f…

相关实体

相关话题