Morlet 小波框架增强 Transformer 位置编码

研究人员推出了一种新颖的 Transformer 位置编码框架——Morlet 位置编码 (MoPE)，超越了传统正弦和旋转方法。MoPE 利用 Morlet 小波同时编码位置和频率，使每个嵌入维度都能学习自己的局部性带宽。该方法在理论上统一了现有方法，并在语言建模等任务中取得了实证改进，与能量门控注意力结合时性能优于标准注意力机制。 AI

影响 引入了一种新的位置编码方法，有望提高 Transformer 模型在各种 NLP 任务中的性能和效率。

排序理由 该集群包含一篇详细介绍 Transformer 位置编码新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Energy-Gated Attention
• Morlet Positional Encoding
• Morlet wavelet
• rotary positional encoding
• sinusoidal positional encoding
• TinyShakespeare
• Transformer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →