Mingtao Zhang

新的ELinFormer模型增强了用于时间序列分析的线性注意力

研究人员开发了ELinFormer，这是一种新颖的线性注意力模块，旨在改进多元时间序列建模。该模块通过用关联形式替换非线性映射来解决传统注意力机制的计算成本限制。ELinFormer采用一种熵校准方法，通过由查询特定的温度校准，来平衡均匀聚合与查询相关的校正。在PEMS基准上的实验表明，与标准注意力和Linformer相比，ELinFormer在预测精度方面具有竞争力，并提供了有利的精度-内存权衡。