Rotary Positional Embeddings
PulseAugur coverage of Rotary Positional Embeddings — every cluster mentioning Rotary Positional Embeddings across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的训练方法消除了 Vision Transformers 中的位置嵌入
研究人员开发了一种名为 Active Spatial Guidance (Guidance) 的新训练技术，消除了 Vision Transformers (ViTs) 中对显式位置嵌入的需求。通过在训练期间对最后一层 patch token 应用辅助的二维坐标回归损失，Guidance 直接从数据中诱导空间组织。该方法在 ImageNet-100 分类和 ADE20K 语义分割等任务上持续提高了性能，优于传统的注入式位置机制，如学习…
-
RoPEMover 使用深度感知 RoPE 实现图像中几何一致的对象重定位
研究人员开发了 RoPEMover，一种在保持几何一致性的同时，在单个图像中重定位对象的新颖方法。该方法利用扩散 Transformer 中的深度感知旋转位置嵌入 (RoPE) 来编码 3D 空间结构，从而实现精确的对象位移和场景感知更新。RoPEMover 使用合成数据和有限的真实世界数据进行训练，在保持对象身份、生成合理的新内容以及更新阴影和光照等场景相关效果方面，均展现了最先进的性能。
-
新的LLM注意力机制提升图推理能力
研究人员发现了一种名为结构畸变的机制，它阻碍了大型语言模型（LLMs）有效推理文本属性图。这种畸变源于图结构到序列的线性化，当与旋转位置嵌入结合时，会导致序列中距离较远的相邻节点之间的注意力衰减。为了解决这个问题，提出了一种名为GaLA（Graph-aligned Language Attention）的新方法。GaLA是一种推理时修改方法，可以在没有显著开销的情况下将LLM注意力偏向图相邻节点，从而提高在图推理基准测试上的性能。
-
研究发现RoPE位置嵌入在长上下文模型中失效
一项新的理论分析揭示了旋转位置嵌入（RoPE）在用于长上下文Transformer模型时存在的根本性局限性。研究证明，随着上下文长度的增加，RoPE区分相邻和遥远位置的能力，以及其Token相关性的一致性，会下降到50%的概率，类似于随机猜测。调整RoPE参数可以在牺牲位置区分能力的情况下改善Token区分能力，但无法同时改善两者，这表明未来的长上下文模型需要新颖的位置编码机制。
-
LLM通过位置感知草稿和不变重排序加速推荐推理
两篇新研究论文解决了使用大型语言模型（LLM）进行推荐系统方面的挑战。一篇题为PAD-Rec的论文介绍了一个位置感知草稿模块，通过考虑项目内的令牌位置和推测深度来加速LLM在生成式列表式推荐中的推理。另一篇题为InvariRank的论文提出了一个架构框架，使基于LLM的推荐重排序对候选项目的顺序不变，从而确保稳定可靠的排名。
-
研究人员提出SIREN-RoPE，通过可学习的旋转空间增强Transformer注意力
研究人员推出了一种新颖的方法SIREN-RoPE，通过将旋转位置嵌入（RoPE）的旋转流形视为一个可学习的、信号条件化的空间来增强Transformer架构。该方法通过捕获时间、位置和上下文之间关系的动态组件来增强token的语义含义。在大规模新闻信息流数据集上的评估表明，在计算开销极小的情况下，校准和排名目标得到了一致的改进。