Structured Matrix Attention

新的注意力机制提升长上下文序列建模能力

两篇新论文介绍了增强循环神经网络长上下文序列建模能力的新方法。第一篇论文“SMat-Attention”提出了结构化矩阵注意力（Structured Matrix Attention），该方法使用结构化因果掩码来实现具有可调复杂度的灵活标记交互，实现了亚二次填充和恒定时间解码。第二篇论文“Triadic Linear Attention”通过使用三元外积创建3D张量状态来泛化线性注意力，显著提高了长上下文语言建模和回忆准确性。