实体
Causal attention
Causal attention
PulseAugur coverage of Causal attention — every cluster mentioning Causal attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新AI框架使用神经算子和因果注意力模拟材料行为
研究人员开发了一种新颖的数据驱动框架来模拟材料的本构行为，特别是针对路径依赖的非弹性材料。该方法将变形材料视为从其应变历史到其应力响应的函数映射，在一次并行传递中预测应力轨迹。该框架利用因果掩码注意力机制来捕捉时间路径依赖性，并利用谱卷积进行离散化不变表示，从而能够准确预测塑性和损伤累积等复杂现象。
-
xFormers 库可在 GPU 上实现内存高效的 Transformer 模型
本教程演示了如何使用 xFormers 库在 GPU 上构建内存高效的 Transformer 模型。它涵盖了实现和比较内存高效注意力与标准注意力，分析了因果掩码、打包序列、分组查询注意力 (GQA) 和 ALiBi 位置偏差等技术。该指南还展示了如何将这些方法结合到一个可训练的 GPT 风格模型中，该模型利用 xFormers 注意力和 SwiGLU 前馈层进行自动混合精度训练。
-
研究论文将注意力机制视为耦合：基于快慢ODE的视角
一篇新的研究论文通过快慢常微分方程（ODEs）的视角探讨了神经网络中注意力机制的概念。作者提出因果自注意力可以被视为一种耦合机制，并研究了第二种、时间上更慢的耦合机制是否可以对其进行补充。他们的理论框架被实例化为一个神经网络，表明这种更慢的耦合在50万个token时效果中性，提出的门控保持关闭状态，与密集基线相比没有性能提升，但时钟成本相当。