PulseAugur
中
实时 11:26:24
实体 Causal attention

Causal attention

PulseAugur coverage of Causal attention — every cluster mentioning Causal attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_315162 ·

    揭示Transformer注意力机制的新几何方法

    本文介绍了一个新的几何框架,用于理解和开发Transformer架构中的注意力机制。作者将“知识世界”和“注意力配对”等概念形式化,以推导出标准、因果、线性、张量注意力和循环神经网络等现有注意力类型。该研究还提出了可能激发全新神经网络架构的几何空间。

  2. RESEARCH · CL_233511 ·

    新AI框架使用神经算子和因果注意力模拟材料行为

    研究人员开发了一种新颖的数据驱动框架来模拟材料的本构行为,特别是针对路径依赖的非弹性材料。该方法将变形材料视为从其应变历史到其应力响应的函数映射,在一次并行传递中预测应力轨迹。该框架利用因果掩码注意力机制来捕捉时间路径依赖性,并利用谱卷积进行离散化不变表示,从而能够准确预测塑性和损伤累积等复杂现象。

  3. TOOL · CL_95483 ·

    xFormers 库可在 GPU 上实现内存高效的 Transformer 模型

    本教程演示了如何使用 xFormers 库在 GPU 上构建内存高效的 Transformer 模型。它涵盖了实现和比较内存高效注意力与标准注意力,分析了因果掩码、打包序列、分组查询注意力 (GQA) 和 ALiBi 位置偏差等技术。该指南还展示了如何将这些方法结合到一个可训练的 GPT 风格模型中,该模型利用 xFormers 注意力和 SwiGLU 前馈层进行自动混合精度训练。

  4. RESEARCH · CL_93389 ·

    研究论文将注意力机制视为耦合:基于快慢ODE的视角

    一篇新的研究论文通过快慢常微分方程(ODEs)的视角探讨了神经网络中注意力机制的概念。作者提出因果自注意力可以被视为一种耦合机制,并研究了第二种、时间上更慢的耦合机制是否可以对其进行补充。他们的理论框架被实例化为一个神经网络,表明这种更慢的耦合在50万个token时效果中性,提出的门控保持关闭状态,与密集基线相比没有性能提升,但时钟成本相当。