dynamic relational priming

新的提示注意力方法提升了Transformer时间序列预测能力

研究人员开发了一种名为“动态关系性提示”（提示注意力）的新注意力机制，旨在提高Transformer模型处理多元时间序列数据的能力。与使用静态token表示的标准注意力不同，提示注意力会动态调整每个交互的token，以更好地捕捉多样化和异构的通道间依赖关系。该方法已显示出显著的改进，预测准确率提高了高达6.5%，并且在相当的性能下所需的序列长度减少了高达40%。