稀疏增量记忆架构提升RNN长上下文回忆能力

研究人员推出了一种名为稀疏增量记忆（Sparse Delta Memory, SDM）的新型架构，旨在增强线性循环神经网络（RNN）的长上下文回忆能力。与在固定状态大小方面难以处理长距离依赖的传统线性注意力模型不同，SDM采用稀疏寻址方案来管理大型显式记忆。这种方法允许在计算成本不成比例增加的情况下显著提高状态容量，从而在上下文学习和长上下文检索任务上获得更好的性能。此外，通过将SDM记忆的初始状态视为参数化记忆，该模型在常识和推理基准测试上表现出更强的性能。 AI

影响 增强了RNN的长上下文回忆能力，可能提高需要广泛记忆的任务的性能。

排序理由 这是一篇详细介绍RNN新架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gated DeltaNet
• Gotit.pub
• Hugging Face
• IArxiv
• Linear RNNs
• ScienceCast
• Sparse Delta Memory
• transformer architectures

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →