实体
Triadic Linear Attention
Triadic Linear Attention
PulseAugur coverage of Triadic Linear Attention — every cluster mentioning Triadic Linear Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的注意力机制提升长上下文序列建模能力
两篇新论文介绍了增强循环神经网络长上下文序列建模能力的新方法。第一篇论文“SMat-Attention”提出了结构化矩阵注意力(Structured Matrix Attention),该方法使用结构化因果掩码来实现具有可调复杂度的灵活标记交互,实现了亚二次填充和恒定时间解码。第二篇论文“Triadic Linear Attention”通过使用三元外积创建3D张量状态来泛化线性注意力,显著提高了长上下文语言建模和回忆准确性。
-
Triadic Linear Attention 增强 RNN 长上下文建模
研究人员推出了一种新颖的方法——Triadic Linear Attention,它通过利用三阶张量状态来增强循环神经网络(RNN)的记忆状态。该方法通过将键和值的三角外积写入,并通过两个查询从中读取,从而在参数量极少增加的情况下实现了状态大小的 E 倍增长。Triadic Linear Attention 与各种训练技术兼容,并在应用于 Gated DeltaNet 和标量门控线性注意力等模型时,在长上下文语言建模和回忆方面显示出显著改进。