Liquid Attention Network

FLUID Transformer 将连续动力学引入注意力机制，以改进时间序列学习

研究人员推出了一种新颖的连续时间 Transformer 架构 FLUID，它将连续动力学直接集成到其注意力机制中。这种新方法称为 Liquid Attention Network (LAN)，用一个由输入相关门控调制的线性常微分方程求解系统取代了标准的缩放点积注意力。FLUID 在时间序列分析、长程建模和自动驾驶控制等各种任务上均表现出改进的性能，显示出增强的鲁棒性和泛化能力。