PulseAugur
中
实时 08:43:12
English(EN) Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

稀疏增量记忆架构提升RNN长上下文回忆能力

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种名为稀疏增量记忆（Sparse Delta Memory, SDM）的新型架构，旨在增强线性循环神经网络（RNN）的长上下文回忆能力。与在固定状态大小方面难以处理长距离依赖的传统线性注意力模型不同，SDM采用稀疏寻址方案来管理大型显式记忆。这种方法允许在计算成本不成比例增加的情况下显著提高状态容量，从而在上下文学习和长上下文检索任务上获得更好的性能。此外，通过将SDM记忆的初始状态视为参数化记忆，该模型在常识和推理基准测试上表现出更强的性能。 AI

影响 增强了RNN的长上下文回忆能力，可能提高需要广泛记忆的任务的性能。

排序理由 这是一篇详细介绍RNN新架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

稀疏增量记忆架构提升RNN长上下文回忆能力

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Lo\"ic Cabannes, Pierre-Emmanuel Mazar\'e, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Herv\'e J\'egou ·

    Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

    arXiv:2607.07386v1 Announce Type: new Abstract: Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall compared to softmax-attention-based trans…

  2. arXiv cs.LG TIER_1 English(EN) · Hervé Jégou ·

    Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

    Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall compared to softmax-attention-based transformer architectures. Increasing the state size …

相关实体

相关话题