Rotary Positional Embedding
PulseAugur coverage of Rotary Positional Embedding — every cluster mentioning Rotary Positional Embedding across labs, papers, and developer communities, ranked by signal.
-
部分 RoPE 在 Transformer 中提供 10 倍内存节省，性能损失极小
一篇新的 arXiv 论文研究了 Transformer 中部分旋转位置嵌入 (RoPE) 的性能和收敛性。研究表明，仅将 RoPE 应用于一小部分维度（约 10%）就可以实现与标准 RoPE 相比高达 10 倍的显著内存节省，同时保持可比的最终损失。研究还发现，最小化 RoPE 使用或应用 QK-Norm 可以缓解在没有位置编码时观察到的损失峰值。
-
WorldRoPE 通过概率性 3D 嵌入增强 Transformer 中的多视图注意力
研究人员开发了 WorldRoPE，一种新颖的概率性世界中心旋转嵌入，专为 Transformer 中的多视图注意力而设计。该方法通过将 patch tokens 投影到共享世界坐标系中的体积高斯基元来解决建立跨视图对应关系的挑战，捕获替代的深度假设和不确定性。WorldRoPE 将旋转算子集成到这些分布上，使注意力对不确定的键位置不那么敏感，并通过预测的几何形状引导跨视图注意力。在新的视图合成和深度估计等任务上的实验表明了其对多视图…
-
新的TAPA位置编码方法旨在改进长上下文语言模型
研究人员推出了一种新颖的位置编码方法——Token-Aware Phase Attention (TAPA)，旨在克服Rotary Positional Embedding (RoPE)在长上下文语言模型中的局限性。TAPA将一个可学习的相位函数集成到注意力机制中，该论文声称该方法可以保持长距离的token交互，并允许外推到未见过的长度。据报道，与基于RoPE的方法相比，新方法在长上下文场景下实现了更低的困惑度和更好的检索性能，并有可…
-
新方法旨在提高 LLM KV 缓存压缩效率
研究人员正在开发先进的技术来压缩大型语言模型 (LLM) 的键值 (KV) 缓存，这是推理过程中内存成本的主要贡献者。JoLT 和 FlashJoLT 等新方法利用张量分解和残差分配，在性能损失极小的情况下实现了显著压缩，如在 Mistral-7B-v0.3 和 Llama 2 13B 等模型上所证明的。其他研究探讨了查询可见性如何影响压缩方法的排名，一些方法在事先不知道查询的情况下表现不佳。此外，PM-KVQ 和 REAL 等方法旨…
-
新方法将Transformer的位置编码适配到图数据
研究人员正在探索将旋转位置编码（RoPE）——一种广泛用于Transformer大语言模型和视觉Transformer的技术——应用于图结构数据。一种称为波诱导旋转编码（WIRE）的方法，应用图拉普拉斯算子的谱信息来旋转token，从而提高图学习任务的性能。另一项开发，高维动态旋转位置嵌入（HDD-RoPE），提出了一种多维位置嵌入方法，允许数据依赖的旋转并加速在TinyStories等数据集上的收敛。