Self-Gating Attention

新的自门控注意力机制提升了Transformer在时间序列预测中的效率

研究人员开发了一种名为自门控注意力（SGA）的新型注意力机制，旨在提高Transformer模型在时间序列预测中的效率。Transformer中标准的自注意力机制具有二次复杂度，这可能成为实时应用的瓶颈。SGA通过使用共享的可学习矩阵和依赖于输入的残差组件来解决这个问题，将复杂度降低到相对于回溯长度的线性时间和内存使用。在九个不同数据集上的实验表明，SGA在保持具有竞争力的预测性能的同时，显著提高了推理效率，优于现有的注意力方法。