PulseAugur
中
实时 21:04:25
English(EN) llama: create new fused op for QSA mask by am17an · Pull Request #30640 · ggml-org/llama.cpp

llama.cpp 添加 QSA 掩码融合算子以提升稀疏注意力性能

作者 PulseAugur 编辑部 · [2 个来源] ·

llama.cpp 项目发布了更新 (b11800)，引入了一个新的 QSA 掩码融合算子，旨在提高稀疏注意力模型的性能。此次更新将 k-pool 掩码操作推广为更通用的 ggml_top_k_mask 函数。新算子支持选择 top-k 元素的各种配置，并可在支持的后端启用，同时在其他后端保持与现有路径的兼容性。 AI

影响 增强了本地 LLM 中特定注意力机制的性能。

排序理由 这是对一个开源项目的软件更新，而非前沿模型发布或重大行业事件。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

llama.cpp 添加 QSA 掩码融合算子以提升稀疏注意力性能

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是对一个开源项目的软件更新，而非前沿模型发布或重大行业事件。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
2 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. llama.cpp — Releases TIER_1 English(EN) · am17an ·

    b11800: llama: create new fused op for QSA mask (#30640)

    <ul> <li> <p>llama: create new fused op for QSA scoring</p> </li> <li> <p>enroll glm5.3-next too</p> </li> <li> <p>tests : initialize the remaining tensors in test_kpool_mask</p> </li> </ul> <p>The harness sentinels were left uninitialized, so leftover memory could read as NaN an…

  2. r/LocalLLaMA TIER_1 English(EN) · /u/jacek2023 ·

    llama: create new fused op for QSA mask by am17an · Pull Request #30640 · ggml-org/llama.cpp

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1xbx12a/llama_create_new_fused_op_for_qsa_mask_by_am17an/"> <img alt="llama: create new fused op for QSA mask by am17an · Pull Request #30640 · ggml-org/llama.cpp" src="https://external-preview.redd.it/vr2xdjK…

相关实体

相关话题