PLGA

新的幂律图注意力通过学习算子泛化SDPA

研究人员引入了一种名为幂律图注意力（PLGA）的新型注意力机制，它通过使用学习到的、由输入生成的双线性算子来泛化缩放点积注意力（SDPA）。这种新架构在论文中进行了详细介绍，并与参考版本进行了验证，它用应用于正张量的逐元素幂律取代了固定形式。这项工作包括了推理崩溃定理和测量不变性，表明精确的输入不变性可以导致具有常数算子的广义SDPA。部分核心组件的证明已使用Lean 4编程语言进行了机器检查。