实体
Attention Sink
Attention Sink
PulseAugur coverage of Attention Sink — every cluster mentioning Attention Sink across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
综述详解Transformer“注意力汇聚”问题及解决方案
一篇新近发表在arXiv上的综述论文详细介绍了Transformer模型中“注意力汇聚”（Attention Sink）现象。该问题指的是模型不成比例地关注无信息量的token，这会使模型的可解释性复杂化，并可能导致幻觉等问题。该综述将现有研究归类为利用、解释和缓解策略，以指导Transformer架构的未来发展。
-
Attention Sink 研究揭示了 LLM 注意力层中固有的 MoE 结构
研究人员发现，大型语言模型中的注意力汇聚现象（即第一个 token 获得不成比例的注意力）会在注意力层内自然形成一个专家混合（MoE）机制。这一发现有助于解释仅部分注意力头被利用的“头坍塌”问题。为解决此问题，研究者提出了一种新的、具有辅助负载均衡损失的 Sink-Aware 训练算法，该算法在不同注意力机制上均显示出改进的性能和有效的头负载均衡。
-
超越注意力投影的线性：非线性查询的论证
研究人员正在探索 Transformer 注意力机制背后的基本原理，新论文分析了其梯度流结构和动态。一项研究将注意力解释为单位球面上的梯度流，识别影响多头设置中 token 聚类和稳定性的因素。另一篇论文研究了用于复杂性控制的关键训练窗口，确定 Transformer 何时优先考虑推理而非记忆。此外，研究还揭示了深度神经网络中几何连续性的起源，将其归因于残差连接和对称性破坏的非线性，并考察了“注意力汇聚”现象的结构原因。