Phasor Transformer 为时间序列建模提供高效的注意力替代方案

研究人员推出了一种新颖的 Phasor Transformer 模块，旨在解决时间序列数据注意力机制中的二次瓶颈问题。这种新方法在单位圆流形上表示序列状态，并结合了可训练的相位偏移和无参数的离散傅里叶变换来实现全局 token 耦合。由此产生的 Large Phasor Model (LPM) 在参数数量仅为自注意力模型一小部分的情况下，展现出与之相当的性能，为振荡域中的时间建模树立了新的效率-准确性前沿。 AI

影响 提供了一种更高效的时间序列建模方法，可能影响需要长上下文理解的应用。

排序理由 这是一篇详细介绍新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Dibakar Sigdel
• discrete Fourier transform
• Hugging Face
• Large Phasor Model
• Luyten Proper-Motion catalogue
• Phasor Transformer
• S1 (Berlin)
• Transformer++

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →