研究人员正在探索将旋转位置编码（RoPE）——一种广泛用于Transformer大语言模型和视觉Transformer的技术——应用于图结构数据。一种称为波诱导旋转编码（WIRE）的方法，应用图拉普拉斯算子的谱信息来旋转token，从而提高图学习任务的性能。另一项开发，高维动态旋转位置嵌入（HDD-RoPE），提出了一种多维位置嵌入方法，允许数据依赖的旋转并加速在TinyStories等数据集上的收敛。 AI
影响 将Transformer的能力扩展到图数据，可能提高社交网络分析和分子建模等领域的性能。
排序理由 该集群包含两篇研究论文，详细介绍了将位置编码技术应用于图结构数据的新颖方法。
- GPT-2
- HDD-RoPE
- Rotary Positional Embedding
- TinyStories
- Transformer
- graph learning
- High Dimensional, Dynamic Rotary Positional Embedding
- large language models
- Rotary Position Encodings
- transformers
- vision transformers
- Wave-Induced Rotary Encodings
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
