Habib Irani

新研究质疑 Transformer 在时间序列预测中的叠加机制

研究人员调查了用于时间序列预测的 Transformer 模型内部表示，发现像叠加这样的复杂机制对于获得有竞争力的性能并非必需。使用稀疏自编码器对 PatchTST 等模型进行的研究表明，即使在扩展字典和对潜在干预措施敏感度极低的情况下，表示也保持稀疏和稳定。同时，一项调查和一种名为 DyWPE 的新方法强调了基于 Transformer 的时间序列分析中位置编码的重要性，DyWPE 通过感知信号提高了准确性。