实体 HD-RoPE

HD-RoPE

PulseAugur coverage of HD-RoPE — every cluster mentioning HD-RoPE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_228854 · Sep 1 · 04:00

新的HD-RoPE方法增强了Transformer的长上下文建模能力

研究人员推出了一种新颖的旋转位置嵌入（RoPE）的扩展方法HD-RoPE，旨在提高Transformer在长上下文建模中的性能。与标准的RoPE的成对解耦结构不同，HD-RoPE利用更高维度的旋转和正交基来实现更深层次的通道混合和增强的鲁棒性。这种新方法更有效地整合了位置信息，在不增加额外可训练参数的情况下，在各种基准测试中取得了显著的性能提升。