Tord Sture Stangeland

Progressive Memory Transformer 通过多尺度注意力增强时间序列分析

研究人员推出了一种新颖的 Progressive Memory Transformer (PMT) 架构，旨在通过显式利用多尺度的分层结构来增强时间序列分析。与通常依赖全局或有限局部监督的现有方法不同，PMT 包含一种记忆感知注意力机制。这使其能够更有效地捕捉时间序列数据的细粒度变化、中程模式和全局属性。在各种基准测试上的评估表明，PMT 在低标签分类和预测任务中表现更优，表明其能够学习局部、中程和全局层面的鲁棒表示。