scalar-gated linear attention

Triadic Linear Attention 增强 RNN 长上下文建模

研究人员推出了一种新颖的方法——Triadic Linear Attention，它通过利用三阶张量状态来增强循环神经网络（RNN）的记忆状态。该方法通过将键和值的三角外积写入，并通过两个查询从中读取，从而在参数量极少增加的情况下实现了状态大小的 E 倍增长。Triadic Linear Attention 与各种训练技术兼容，并在应用于 Gated DeltaNet 和标量门控线性注意力等模型时，在长上下文语言建模和回忆方面显示出显著改进。