Rotary Position Embeddings
PulseAugur coverage of Rotary Position Embeddings — every cluster mentioning Rotary Position Embeddings across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究将RoPE频率使用与训练数据结构和长度泛化联系起来
一篇新研究论文探讨了Transformer中的旋转位置嵌入（RoPE）如何非均匀地使用频率，并提出了一个以数据为中心的解释。研究表明，RoPE频率的选择是为了与训练数据的相对距离结构对齐，最优频率与数据诱导的依赖性剖面的宽度成反比。这一原理有助于解释语言模型中涌现的频率使用，并与长度泛化相关联，在长度泛化中，降低频率可以提高性能，当依赖性近似于训练时结构的扩张时。
-
上下文工程：在大型上下文窗口之外优化LLM信息
上下文工程已成为AI开发中的一个关键学科，其重点在于优化提供给大型语言模型（LLM）的信息，而不仅仅是增加上下文窗口的大小。这种做法涉及仔细选择和构建数据，以确保模型能够获得给定任务最相关的信息，从而提高推理能力、降低延迟并减少成本。采用了诸如语义分块、分层检索和上下文压缩等技术来最大化信号并最小化噪声，确保模型能够有效地利用呈现给它们的信息。
-
新方法增强 Transformer 可扩展性并减轻 AI 模型中的位置偏差 · 跟踪 4 个来源
研究人员开发了两种新方法来提高 Transformer 模型的性能和可扩展性。一种方法 DPPE（解耦姿态位置编码）通过分离位置编码中的旋转和翻译信息来解决 3D 计算机视觉中的问题，从而在新的视图合成任务中实现更稳定的长期训练和更好的泛化能力。另一种方法 LPES（层特定的位置嵌入缩放）通过为每个层的 positional embeddings 应用独特的缩放因子来解决大型语言模型中的“中间丢失”问题，从而平衡注意力分布并在不增加延…
-
RoPE 嵌入革新 LLM 的位置感知能力
本文解释了旋转位置嵌入 (RoPE)，这是一种于 2021 年开发的方法，用于解决 Transformer 模型固有的位置感知缺失问题。与可能破坏语义含义并限制上下文长度的早期加性位置编码不同，RoPE 使用几何旋转来编码位置。这种方法因其有效处理绝对位置和相对距离的能力，已成为包括 LLaMA 3、Mistral、Qwen 2.5 和 Gemma 在内的许多领先开源 LLM 的标准。
-
新研究揭示Transformer上下文学习动力学
两篇新研究论文探讨了Transformer模型上下文学习（ICL）的复杂性。第一篇论文引入了一个正式任务IC-recall，用于研究Transformer在ICL过程中如何利用存储在其参数中的事实知识，并证明在最小数据微调过程中会出现特定的成对注意力模式。第二篇论文研究了多模态ICL，揭示了一种学习不对称性，即主要模态的高多样性即使在次要模态数据有限的情况下也能实现有效多模态ICL，并识别出一种跨模态复制标签的归纳式机制。
-
AI模型PRISM简化了薄膜光学涂层设计
研究人员开发了PRISM，一种新颖的自回归Transformer模型，旨在解决多层薄膜光学涂层设计的复杂逆问题。PRISM将材料选择和厚度预测整合到一个单一架构中，采用光谱前缀条件和累积深度旋转位置编码。基准测试表明，PRISM-13M在平均绝对误差（MAE）方面显著优于其他Transformer模型，同时使用的参数更少，而一个更大的变体实现了最先进的MAE，在速度和效率方面优于传统的优化方法。
-
SEGA方法增强了扩散Transformer的图像生成分辨率
研究人员开发了SEGA，一种新颖的无需训练的方法，用于提高文本到图像生成中使用的扩散Transformer的分辨率外推能力。SEGA在去噪过程中自适应地调整潜在表示不同频率分量的注意力。与现有方法相比，这种方法提高了生成图像在更高分辨率下的结构连贯性和精细细节保真度。