实体 Jordan Rope

Jordan Rope

PulseAugur coverage of Jordan Rope — every cluster mentioning Jordan Rope across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_20402 · May 5 · 18:59

Jordan-RoPE: 通过复数约旦块实现的非半单相对位置编码

研究人员引入了 Jordan-RoPE，一种利用复数约旦块的 Transformer 模型新型相对位置编码方法。该方法生成振荡-多项式特征，实现了与 RoPE 和 ALiBi 等现有方法不同的距离调制相位基。虽然缩放精确变体在 WikiText-103 语言模型上比基线有所改进，但 RoPE+ALiBi 总体上仍然表现最强，表明 Jordan-RoPE 对特定任务具有结构优势。