PulseAugur
中
实时 23:21:06
实体 High Dimensional, Dynamic Rotary Positional Embedding

High Dimensional, Dynamic Rotary Positional Embedding

PulseAugur coverage of High Dimensional, Dynamic Rotary Positional Embedding — every cluster mentioning High Dimensional, Dynamic Rotary Positional Embedding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_109002 ·

    新方法将Transformer的位置编码适配到图数据

    研究人员正在探索将旋转位置编码（RoPE）——一种广泛用于Transformer大语言模型和视觉Transformer的技术——应用于图结构数据。一种称为波诱导旋转编码（WIRE）的方法，应用图拉普拉斯算子的谱信息来旋转token，从而提高图学习任务的性能。另一项开发，高维动态旋转位置嵌入（HDD-RoPE），提出了一种多维位置嵌入方法，允许数据依赖的旋转并加速在TinyStories等数据集上的收敛。