研究人员引入了一个名为 Journey Operators 的新框架，用于对图像或文本等多轴数据结构进行建模。该框架使用每轴变换来定义数据如何组合以及如何描述相对位置，确保跨独立轴的组合和移动是路径无关的。Journey Operators 背后的理论解释了 Rotary Position Embedding (RoPE) 及其变体等方法的出现，当应用于数据依赖变换时，它提供了内容自适应的位置归纳偏差。研究人员设计了一个名为 JoFormer 的模型用于值聚合，在视觉、语言和长度泛化任务中显示出初步的良好结果。 AI
影响 引入了一个新的理论框架来对复杂数据结构进行建模，有可能提高视觉和语言任务的性能。
排序理由 这是一篇详细介绍处理多轴数据结构的新理论框架和模型的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
