新的NAMOH稀疏注意力机制可实现LLM上下文的高效扩展

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-01 04:00

研究人员推出了一种新颖的稀疏注意力机制NAMOH，旨在提高大型语言模型的效率和有效性，尤其是在扩展上下文长度方面。NAMOH通过每个token仅激活一部分注意力头来实现这一点，每个头处理token的特定子序列。这种方法允许参数扩展直接实现上下文扩展，在计算成本降低的同时，可能优于同等参数数量的密集模型。该机制与Grouped-Query Attention (GQA) 等现有技术和其他稀疏注意力方法兼容。 AI

影响这种新的注意力机制可能带来更高效、更强大的LLM，有望降低推理成本，并为复杂任务实现更长的上下文窗口。

排序理由该集群包含一篇详细介绍LLM注意力机制新技术的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 21 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍LLM注意力机制新技术的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Zizhuo Fu, Runsheng Wang, Meng Li · 2026-10-01 04:00

Attention中的参数和上下文扩展：混合头原生稀疏Attention

arXiv:2609.38832v1 Announce Type: new Abstract: Scaling attention parameters can improve language model quality, but retaining full token histories makes additional heads costly at long contexts. Furthermore, since attention retrieves and combines contextual information, paramete…

本文如何被排名

报道来源 [1]

Attention中的参数和上下文扩展：混合头原生稀疏Attention

相关实体

相关话题