Attention Sink 研究揭示了 LLM 注意力层中固有的 MoE 结构

研究人员发现，大型语言模型中的注意力汇聚现象（即第一个 token 获得不成比例的注意力）会在注意力层内自然形成一个专家混合（MoE）机制。这一发现有助于解释仅部分注意力头被利用的“头坍塌”问题。为解决此问题，研究者提出了一种新的、具有辅助负载均衡损失的 Sink-Aware 训练算法，该算法在不同注意力机制上均显示出改进的性能和有效的头负载均衡。 AI

影响 为注意力机制提供了新的视角，并可能提高 LLM 的效率和性能。

排序理由 提出 LLM 注意力机制新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Attention Sink
• GPT-OSS
• Large Language Models
• Mixture-of-Experts
• Qwen3-Next
• Sink Attention
• Zizhuo Fu
• Gated Attention

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →