sliding-window attention

Transformer 模型通过因果掩码和残差流获得绝对位置感知能力

研究人员在 decoder-only Transformer 中识别出两个关键的架构组件，它们有助于模型区分绝对位置，尽管 RoPE 等位置编码方法主要编码相对偏移。这两个组件是因果掩码（其 softmax 分母本身就依赖于查询位置）和残差流（它在位置 0 处充当动态系统）。该研究分析了不同的架构选择（如 NTK 缩放和滑动窗口注意力）如何与这些组件相互作用，从而影响模型的绝对位置感知能力。