Morlet Positional Encoding

Morlet 小波框架增强 Transformer 位置编码

研究人员推出了一种新颖的 Transformer 位置编码框架——Morlet 位置编码 (MoPE)，超越了传统正弦和旋转方法。MoPE 利用 Morlet 小波同时编码位置和频率，使每个嵌入维度都能学习自己的局部性带宽。该方法在理论上统一了现有方法，并在语言建模等任务中取得了实证改进，与能量门控注意力结合时性能优于标准注意力机制。