实体
Causal attention
Causal attention
PulseAugur coverage of Causal attention — every cluster mentioning Causal attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
xFormers 库可在 GPU 上实现内存高效的 Transformer 模型
本教程演示了如何使用 xFormers 库在 GPU 上构建内存高效的 Transformer 模型。它涵盖了实现和比较内存高效注意力与标准注意力，分析了因果掩码、打包序列、分组查询注意力 (GQA) 和 ALiBi 位置偏差等技术。该指南还展示了如何将这些方法结合到一个可训练的 GPT 风格模型中，该模型利用 xFormers 注意力和 SwiGLU 前馈层进行自动混合精度训练。
-
研究论文将注意力机制视为耦合：基于快慢ODE的视角
一篇新的研究论文通过快慢常微分方程（ODEs）的视角探讨了神经网络中注意力机制的概念。作者提出因果自注意力可以被视为一种耦合机制，并研究了第二种、时间上更慢的耦合机制是否可以对其进行补充。他们的理论框架被实例化为一个神经网络，表明这种更慢的耦合在50万个token时效果中性，提出的门控保持关闭状态，与密集基线相比没有性能提升，但时钟成本相当。