Rotary Position Embedding
PulseAugur coverage of Rotary Position Embedding — every cluster mentioning Rotary Position Embedding across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的二维位置编码提升Transformer场景文本识别能力
研究人员开发了一种新颖的二维旋转位置嵌入（2D-RoPE-STR）方法，以改进基于Transformer的场景文本识别（STR）。这种新方法通过更好地捕捉文本图像的二维空间结构来解决现有的一维位置编码的局限性，这对于处理弯曲、旋转和透视失真的文本至关重要。该方法引入了各向异性维度分配，并将旋转耦合扩展到编码器-解码器交叉注意力中，从而实现更准确的自回归解码。在六个标准基准上的评估显示，性能有了显著提升，尤其是在处理不规则文本布局方面。
-
nD-RoPE 将位置嵌入通用化，适用于高维AI模型
研究人员推出nD-RoPE，一种将旋转位置嵌入（RoPE）推广到n维空间的新颖方法，解决了当前方法的局限性。这种新公式将位置和频率视为耦合的n维向量，能够实现更好的跨维度交互和方向无关的表示。实验表明，nD-RoPE在图像、视频和点云等各种高维数据类型上均提高了性能和泛化能力。
-
新的MLA注意力机制将LLM KV缓存削减高达10倍
多头潜在注意力（MLA）是一种新颖的注意力机制，旨在显著压缩大型语言模型的KV缓存。通过将KV对投影到低维潜在空间，MLA实现了大量的缓存缩减，使DeepSeek-V2/V3和Kimi K2.x等模型能够以更少的内存处理更长的上下文和更大的批次。该技术改变了前缀缓存和注意力计算的实现方式，在模型推理过程中提供了内存使用和计算成本之间更有效的权衡。
-
Transformer架构详解：自注意力、RoPE和FFN
Transformer架构，最初在“Attention Is All You Need”论文中提出，是现代大型语言模型（LLMs）的基础。关键组成部分包括自注意力（计算token关系）和多头注意力（允许并行处理不同类型的关系）。位置编码，例如Llama和Mistral等模型中使用的旋转位置嵌入（RoPE），对于传达token顺序至关重要，而前馈网络则存储事实知识并增强表达能力。
-
AI研究人员开发了用于通用建筑热模型的物理信息Transformer
研究人员开发了一种物理信息Transformer架构，旨在创建住宅建筑的通用热模型。该模型嵌入了领域知识，并使用旋转位置嵌入注意力来捕捉时间依赖性，目标是在无需特定校准的情况下实现跨不同建筑和气候的泛化。在CityLearn数据集上进行评估，该模型表现出强大的预测准确性和零样本迁移能力，优于现有的基线模型和基础模型。
-
SHARP方法通过动态分辨率提升增强遥感图像合成
研究人员开发了SHARP，一种用于增强扩散模型生成的遥感图像分辨率的新颖方法。SHARP在大量遥感图像数据集上对FLUX模型进行微调，以创建特定领域的先验知识，命名为RS-FLUX。然后，它采用一种无需训练的方法，在去噪过程中动态调整位置嵌入，以优化遥感数据的特定频率特征。