Gated Oja Rule-2

Gated Slot Attention-2 通过新颖的内存校正增强了线性注意力模型

研究人员推出了一种新颖的方法 Gated Slot Attention-2 (GSA2)，通过改进其固定大小的循环内存来增强线性注意力模型。GSA2 结合了用于键侧校正的新型 Gated Oja Rule 和用于值侧校正的 Gated Delta Rule，并利用共享的潜在槽。该架构旨在提供有效的内存校正，并自然地对关联的两侧进行操作。实验表明，GSA2 在各种基准测试中优于现有的线性注意力基线，同时保持了线性时间序列建模和恒定内存循环解码。