实体 LayerRoPE

LayerRoPE

PulseAugur coverage of LayerRoPE — every cluster mentioning LayerRoPE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_286862 · Oct 8 · 04:00

LayerRoPE 方法将 Transformer 范数增长重新解释为位置编码

研究人员推出了一种名为 LayerRoPE 的新颖方法，该方法将 Transformer 中隐藏状态范数的增长重新解释为一种新兴的深度-位置编码。LayerRoPE 不抑制这种增长，而是通过修改归一化权重（$\gamma$）来显式编码层索引，从而利用它。该方法在 16 个预训练的 LLM 上进行了测试，其性能始终优于现有的归一化技术，在计算量显著减少和学习率敏感性提高的情况下，取得了具有竞争力的性能。LayerRoPE 在应用于循环潜…