实体
Causal self-attention
Causal self-attention
PulseAugur coverage of Causal self-attention — every cluster mentioning Causal self-attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究解释了为何 AI 推荐器偏好最后一次互动
研究人员已确定了一个结构性原因，解释了顺序推荐器中的因果自注意力模型为何高度偏好最后一次互动。这种被称为“残差主导”的现象发生，是因为残差加法将模型的表征转移到同位置的贡献上。通过在推理过程中操纵残差强度，研究人员展示了结构混合与依赖最后一项之间的权衡，这表明了一种缓解这种常见行为的方法。
-
研究论文将注意力机制视为耦合：基于快慢ODE的视角
一篇新的研究论文通过快慢常微分方程（ODEs）的视角探讨了神经网络中注意力机制的概念。作者提出因果自注意力可以被视为一种耦合机制，并研究了第二种、时间上更慢的耦合机制是否可以对其进行补充。他们的理论框架被实例化为一个神经网络，表明这种更慢的耦合在50万个token时效果中性，提出的门控保持关闭状态，与密集基线相比没有性能提升，但时钟成本相当。