Attention Sinks
PulseAugur coverage of Attention Sinks — every cluster mentioning Attention Sinks across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现：Transformer中的大规模激活与权重衰减有关
一篇新的研究论文探讨了Transformer模型中“大规模激活”的现象，将其定义为具有异常大数值的残差流坐标。研究表明，这些通常与注意力汇聚点（attention sinks）相关联的激活，是随机产生的，在训练早期趋于稳定，然后随着时间的推移整合到更少的通道上。研究确定，权重衰减在调节这些激活的规模方面起着至关重要的作用，移除权重衰减会允许激活持续增长，而保留权重衰减则会导致其下降。
-
研究探讨百万级上下文语言模型中的注意力汇聚问题
一篇题为《新的注意力机制能否真正解决百万级上下文中的注意力汇聚问题？》的新研究论文，调查了注意力机制在长上下文语言模型中的有效性。该研究引入了一个名为SinkProbe的诊断套件，用于测量注意力汇聚、激活模式和位置回忆。研究结果表明，注意力汇聚的主要原因是训练目标而非架构，并且先前报道的一种门控机制在测试的大规模下未能重现其效果。
-
滑动窗口注意力在大型语言模型中优于线性注意力
一篇新的研究论文表明，带有注意力汇聚点的滑动窗口注意力（SWA）在大型语言模型（LLMs）上的表现与线性注意力模型相当或更优。这项发表在arXiv上并由Hugging Face重点介绍的研究发现，SWA在长上下文推理任务（如Needle-in-a-Haystack和BABILong）上显著优于线性注意力，性能提高了2到10倍。SWA为LLM推理提供了一种更高效、更具成本效益的解决方案，无需训练后调整，内存占用低，速度快，使其成为线性注…
-
研究人员查明驱动大型语言模型中注意力汇聚点的“P0-Sink Circuit”
研究人员在 Transformer 模型中识别出一个特定的子网络，称为 P0-Sink Circuit，它负责零号位“注意力汇聚点”现象。该电路源于因果注意力的固有结构特性，而非语义内容。实验表明，两种无参数方法可以有效加速该零号位汇聚点的形成，从而提高预训练和下游性能，甚至优于门控注意力基线。
-
Attention Sinks: Why Early Tokens Are Critical for LLM Stability
一项技术分析表明，序列中的早期标记（称为“注意力汇聚点”）对于基于 Transformer 的大型语言模型的稳定运行至关重要。这些汇聚点充当注意力概率质量的停泊点，防止其破坏真实标记的表示。当这些初始标记被移除时，尤其是在使用滑动窗口 KV 缓存的流式 LLM 架构中，模型性能会显著下降，这种现象被称为“注意力汇聚点”。
-
新研究将 Transformer 路径病理与通用路由机制联系起来
arXiv 上的一篇新论文提出，像注意力汇聚点（attention sinks）和表征塌陷（representation collapse）这样的常见 Transformer 病理并非注意力机制独有，而是内容路由在固定相似度度量下的固有缺陷。该研究将 softmax 注意力重新定义为欧氏距离上的玻尔兹曼加权聚合，并提出路由与表征不匹配的路由器会导致路由集中并使表征塌陷。这种现象在包括 Transformer、图注意力（graph at…
-
研究人员通过注意力控制和算法捕获探索高效 Transformer
研究人员正在探索提高 Transformer 效率和理解力的方法。一篇论文引入了预算注意力分配（Budgeted Attention Allocation），这是一种允许成本-质量权衡的头门控机制。另一项研究定义了 Transformer 中的算法捕获（algorithmic capture），并分析了它们的计算复杂性，表明存在一种归纳偏见，反对更高复杂度的过程。此外，关于 Transformer 中局部注意力的工作证明了其表达能力以…