实体 Rotary Encodings

Rotary Encodings

PulseAugur coverage of Rotary Encodings — every cluster mentioning Rotary Encodings across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_156499 · Jul 22 · 04:00

论文解释了为何相对位置编码能提升 Transformer 的泛化能力

一篇新论文提出了一个基于优化的解释，说明为何具有相对位置编码的 Transformer 比具有绝对编码的 Transformer 在泛化到更长序列时表现更好。研究表明，梯度下降的隐式偏差在使用 Rotary Encodings 时倾向于有利于对相对位置具有等变性的解，从而在不同序列长度下实现一致的性能。相比之下，绝对编码倾向于记忆特定位置，阻碍了外插。该研究通过在最小检索任务和全序列长度泛化任务上的实验证实了这些发现，并指出线性注意力…