Rotary Positional Embeddings
PulseAugur coverage of Rotary Positional Embeddings — every cluster mentioning Rotary Positional Embeddings across labs, papers, and developer communities, ranked by signal.
-
新的WorldTrace框架改进了视频模型中的视觉记忆
研究人员开发了WorldTrace，一个旨在增强视频世界模型中视觉持久性的新颖框架。这种新方法解决了现有模型因时间旋转位置嵌入（RoPE）问题而在超出训练范围后难以回忆信息的局限性。WorldTrace通过为摘要槽分配不同的虚拟位置来维护一个“可寻址内存”，从而能够更好地检索存储的内容。该框架包括两种压缩方法：用于时间连贯性的WorldTrace-Field和用于情景回忆的WorldTrace-Landmark，在LoopBench基…
-
Moonshot AI 发布 Kimi-K3 模型，优化长上下文处理
Moonshot AI 已在 Hugging Face 上发布 Kimi-K3 模型权重，该模型采用了针对长上下文推理的架构优化。模型采用了修改后的 Transformer 架构，结合了 Grouped Query Attention (GQA) 和类似 vLLM 的分页注意力技术，以高效管理其 KV 缓存，支持长达一百万个 token 的序列。关键配置包括用于位置嵌入稳定性的高 `rope_theta` 值，以及为生产部署而设计的抗…
-
新的双焦点注意力方法旨在提高LLM的算法泛化能力
一篇研究论文介绍了一种名为双焦点注意力（Bifocal Attention）的新架构范式，旨在提高大型语言模型（LLM）的算法泛化能力。该方法结合了标准的旋转位置嵌入（RoPE）用于局部标记操作，以及可学习的谐波算子来跟踪长距离递归深度。论文还提出了一种名为频谱演化（Spectral Evolution）的训练协议，允许位置频率在训练期间针对特定算法任务进行调整。然而，该论文已被作者撤回。
-
新的训练方法消除了 Vision Transformers 中的位置嵌入
研究人员开发了一种名为 Active Spatial Guidance (Guidance) 的新训练技术，消除了 Vision Transformers (ViTs) 中对显式位置嵌入的需求。通过在训练期间对最后一层 patch token 应用辅助的二维坐标回归损失，Guidance 直接从数据中诱导空间组织。该方法在 ImageNet-100 分类和 ADE20K 语义分割等任务上持续提高了性能，优于传统的注入式位置机制，如学习…
-
RoPEMover 使用深度感知 RoPE 实现图像中几何一致的对象重定位
研究人员开发了 RoPEMover，一种在保持几何一致性的同时，在单个图像中重定位对象的新颖方法。该方法利用扩散 Transformer 中的深度感知旋转位置嵌入 (RoPE) 来编码 3D 空间结构，从而实现精确的对象位移和场景感知更新。RoPEMover 使用合成数据和有限的真实世界数据进行训练，在保持对象身份、生成合理的新内容以及更新阴影和光照等场景相关效果方面，均展现了最先进的性能。
-
新的LLM注意力机制提升图推理能力
研究人员发现了一种名为结构畸变的机制，它阻碍了大型语言模型（LLMs）有效推理文本属性图。这种畸变源于图结构到序列的线性化，当与旋转位置嵌入结合时，会导致序列中距离较远的相邻节点之间的注意力衰减。为了解决这个问题，提出了一种名为GaLA（Graph-aligned Language Attention）的新方法。GaLA是一种推理时修改方法，可以在没有显著开销的情况下将LLM注意力偏向图相邻节点，从而提高在图推理基准测试上的性能。
-
研究发现RoPE位置嵌入在长上下文模型中失效
一项新的理论分析揭示了旋转位置嵌入（RoPE）在用于长上下文Transformer模型时存在的根本性局限性。研究证明，随着上下文长度的增加，RoPE区分相邻和遥远位置的能力，以及其Token相关性的一致性，会下降到50%的概率，类似于随机猜测。调整RoPE参数可以在牺牲位置区分能力的情况下改善Token区分能力，但无法同时改善两者，这表明未来的长上下文模型需要新颖的位置编码机制。
-
LLM通过位置感知草稿和不变重排序加速推荐推理
两篇新研究论文解决了使用大型语言模型（LLM）进行推荐系统方面的挑战。一篇题为PAD-Rec的论文介绍了一个位置感知草稿模块，通过考虑项目内的令牌位置和推测深度来加速LLM在生成式列表式推荐中的推理。另一篇题为InvariRank的论文提出了一个架构框架，使基于LLM的推荐重排序对候选项目的顺序不变，从而确保稳定可靠的排名。
-
研究人员提出SIREN-RoPE，通过可学习的旋转空间增强Transformer注意力
研究人员推出了一种新颖的方法SIREN-RoPE，通过将旋转位置嵌入（RoPE）的旋转流形视为一个可学习的、信号条件化的空间来增强Transformer架构。该方法通过捕获时间、位置和上下文之间关系的动态组件来增强token的语义含义。在大规模新闻信息流数据集上的评估表明，在计算开销极小的情况下，校准和排名目标得到了一致的改进。