Dong et al. (2021)

提出新的黎曼注意力机制用于 Transformer 以防止秩衰减

提出了一种新的 Transformer 理论框架和架构设计，称为黎曼注意力机制。该方法用学习到的每个 token 的黎曼度量替换标准的欧几里得内积。提出的纤维丛 Transformer 架构旨在通过利用异构黎曼度量、测地线距离计算和度量预处理的前馈更新来解决深度 Transformer 堆栈中观察到的表示秩衰减问题。虽然论文侧重于理论分析和架构设计，但它确定了中心开放问题，即证明这些异构黎曼度量是否可以防止注意力矩阵中的秩崩溃。