实体
Linear RNNs
Linear RNNs
PulseAugur coverage of Linear RNNs — every cluster mentioning Linear RNNs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
稀疏增量记忆提升线性RNN，实现更好的长上下文记忆
研究人员推出了一种名为稀疏增量记忆（Sparse Delta Memory, SDM）的新型架构，旨在增强线性循环神经网络（RNN）的长上下文记忆能力。通过采用稀疏寻址方案，SDM显著提高了门控线性RNN的隐藏状态容量，在相似的计算约束下，其在上下文学习和长上下文检索任务上的表现优于传统的Transformer架构。该架构通过对显式内存进行稀疏读写来扩展门控增量网络（Gated DeltaNet），并且当其初始状态被参数化学习时，还能…
-
线性 RNN 通过将状态跟踪任务转换为代码，在这些任务中显示出潜力
研究人员开发了一种将置换组合任务转换为代码的方法，使线性 RNN 在 Transformer 以前难以处理的任务上表现出色。该方法解决了状态跟踪任务与常用于语言模型的下一个词预测训练不兼容的问题。该研究还探讨了在动作不完全可观察的情况下，在代码中跟踪状态的固有难度，将其视为一个概率有限状态自动机问题，而线性 RNN 在此问题上可能不如非线性 RNN。
-
论文将线性 RNN 与电路联系起来，解释了并行性
研究人员探索了线性 RNN (LRNN) 作为语言模型，注意到它们的表达能力和并行性。一篇新论文将 LRNN 与算术电路联系起来，通过表明它们类似于对数深度电路来解释它们的并行性质，这与可以解决更复杂问题的非线性 RNN 不同。这项理论工作确定了不同 LRNN 变体之间的表达能力差异，并为设计平衡表达能力和并行性的 LLM 架构奠定了基础。