实体
Multi Head Self Attention
Multi Head Self Attention
PulseAugur coverage of Multi Head Self Attention — every cluster mentioning Multi Head Self Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
均场理论分析多头自注意力训练
研究人员开发了一种均场理论来分析使用交叉熵训练的多头自注意力模型。该研究将每个注意力头视为一个粒子，在无限头极限下使用头的经验定律作为状态变量。该框架建立了一个非线性 Wasserstein 梯度流方程，并为训练动力学提供了理论界限和收敛速度，为理解注意力机制提供了严格的基准。
-
超越注意力投影的线性：非线性查询的论证
研究人员正在探索 Transformer 注意力机制背后的基本原理，新论文分析了其梯度流结构和动态。一项研究将注意力解释为单位球面上的梯度流，识别影响多头设置中 token 聚类和稳定性的因素。另一篇论文研究了用于复杂性控制的关键训练窗口，确定 Transformer 何时优先考虑推理而非记忆。此外，研究还揭示了深度神经网络中几何连续性的起源，将其归因于残差连接和对称性破坏的非线性，并考察了“注意力汇聚”现象的结构原因。