实体
Rotary Positional Encoding
Rotary Positional Encoding
PulseAugur coverage of Rotary Positional Encoding — every cluster mentioning Rotary Positional Encoding across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Morlet 小波框架增强 Transformer 位置编码
研究人员推出了一种新颖的 Transformer 位置编码框架——Morlet 位置编码 (MoPE)，超越了传统正弦和旋转方法。MoPE 利用 Morlet 小波同时编码位置和频率，使每个嵌入维度都能学习自己的局部性带宽。该方法在理论上统一了现有方法，并在语言建模等任务中取得了实证改进，与能量门控注意力结合时性能优于标准注意力机制。
-
新的GAPE方法增强了LLM的长上下文性能
研究人员开发了门控自适应位置编码（GAPE），这是一种提高大型语言模型（LLM）在扩展上下文长度下性能的新方法。GAPE解决了当序列超出训练限制时出现的问题，这些问题会导致RoPE等位置编码降低模型性能。通过向注意力对数引入内容感知偏差，GAPE选择性地收缩不相关上下文，同时保留重要的远距离标记，从而实现更清晰的注意力和更好的长上下文鲁棒性。
-
Adaptive 3D-RoPE 通过物理对齐的位置编码增强无线基础模型
研究人员开发了 Adaptive 3D-RoPE，一种新颖的位置编码方法，旨在提高无线基础模型的性能。该新方法通过引入一个可学习的、轴解耦的 3D 频率库和一个条件化信道的控制器，与无线信道的物理特性保持一致。实验表明，在天线尺度外推方面，归一化均方误差最多可降低 10.7 dB，在尺度外推和零样本泛化方面取得了显著的改进。