研究人员推出了一种新颖的方法 OSDN，该方法通过结合可证明的在线预处理来增强线性注意力机制。该技术通过超梯度反馈在线更新的对角线预处理器来增强 Delta 规则。OSDN 有效地按特征缩放写入端键，在不增加显着开销的情况下保留了 DeltaNet 的高效并行流水线。该方法在上下文内回忆任务中表现出改进的性能，在各种参数规模下均显示出比现有方法显着的优势。 AI
影响 引入了一种改进线性注意力模型中上下文内回忆的新技术，有可能增强其处理长序列的能力。
排序理由 该集群包含一篇详细介绍改进线性注意力机制的新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
