PulseAugur
中
实时 13:06:14
English(EN) Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

稀疏增量记忆提升线性RNN，实现更好的长上下文记忆

作者 PulseAugur 编辑部 · [4 个来源] ·

研究人员推出了一种名为稀疏增量记忆（Sparse Delta Memory, SDM）的新型架构，旨在增强线性循环神经网络（RNN）的长上下文记忆能力。通过采用稀疏寻址方案，SDM显著提高了门控线性RNN的隐藏状态容量，在相似的计算约束下，其在上下文学习和长上下文检索任务上的表现优于传统的Transformer架构。该架构通过对显式内存进行稀疏读写来扩展门控增量网络（Gated DeltaNet），并且当其初始状态被参数化学习时，还能进一步提高常识推理任务的性能。 AI

影响 增强了RNN的长上下文记忆能力，可能为特定任务提供Transformer架构的替代方案。

排序理由 该集群描述了一篇详细介绍RNN新型架构的最新研究论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →

稀疏增量记忆提升线性RNN，实现更好的长上下文记忆

报道来源 [4]

  1. arXiv cs.LG TIER_1 English(EN) · Lo\"ic Cabannes, Pierre-Emmanuel Mazar\'e, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Herv\'e J\'egou ·

    稀疏 Delta 记忆：通过稀疏性扩展线性 RNN 的状态

    arXiv:2607.07386v1 Announce Type: new Abstract: Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall compared to softmax-attention-based trans…

  2. arXiv cs.LG TIER_1 English(EN) · Hervé Jégou ·

    稀疏 Delta 记忆：通过稀疏性扩展线性 RNN 的状态

    Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall compared to softmax-attention-based transformer architectures. Increasing the state size …

  3. Hugging Face Daily Papers TIER_1 English(EN) ·

    稀疏 Delta 记忆：通过稀疏性扩展线性 RNN 的状态

    Sparse Delta Memory extends gated linear RNNs with sparse addressing to dramatically increase hidden state capacity for improved long-context learning and retrieval while maintaining computational efficiency.

  4. r/LocalLLaMA TIER_1 English(EN) · /u/pmttyji ·

    [论文] Sparse Delta Memory：通过稀疏性扩展线性 RNN 的状态

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1usdn4c/paper_sparse_delta_memory_scaling_the_state_of/"> <img alt="[Paper] Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity" src="https://preview.redd.it/4y84i8701cch1.jpg?width=140&amp;…

相关实体

相关话题