recurrent neural network
PulseAugur coverage of recurrent neural network — every cluster mentioning recurrent neural network across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新框架支持使用自然语言控制多机器人团队
研究人员开发了一种新颖的框架，可以通过自然语言指令控制多机器人团队，从而在无需在操作期间直接调用语言模型的情况下，实时分解和执行复杂任务。该系统利用确定性有限自动机来表示任务，并利用循环神经网络将语言模型的推理提炼成紧凑、可部署的形式。然后，图神经网络将 RNN 的内部状态转换为去中心化机器人执行的控制策略，在模拟和现实场景中均表现出稳健的性能。
-
混合AI模型改进葡萄物候预测
一篇研究论文提出了一种新颖的混合建模方法，用于预测葡萄物候，这对葡萄园管理至关重要。该方法结合了多任务学习和循环神经网络来参数化可微分的生物物理模型。这种方法允许在不同葡萄品种之间共享学习，同时保持生物结构，从而比传统的生物物理模型或标准的深度学习技术获得更准确、更稳健的预测。该论文（已被作者撤回）使用真实世界和合成数据集，展示了在预测物候阶段、耐寒性和小麦产量方面取得的显著改进。
-
新的上下文就绪 Transformer 架构提高了速度和性能
研究人员推出了一种新颖的循环神经网络架构——上下文就绪的 Transformer，旨在提高 Transformer 的效率和性能。该新模型在每个 token 进入 D 层 Transformer 块之前对其进行预上下文化，从而有效地为顺序推理创建了一个循环神经网络。与标准 Transformer 相比，该架构在速度和性能上都有显著提升，在 A100 GPU 上，D=5 的模型在生成速度上比 12 层 Transformer 快 1.7 倍。
-
AI 模型解析：LLM、Transformer、Diffusion 等
本文解释了各种类型的 AI 模型，区分了大型语言模型 (LLM) 的密集模型和专家混合 (MoE) 模型。文章详细介绍了 Transformer 架构，该架构因其自注意力机制而成为现代 LLM 的基础。文章还涵盖了较旧的技术，如用于图像处理的 RNN/LSTM、卷积神经网络 (CNN)，以及用于生成图像和其他媒体的扩散模型。最后，文章介绍了多模态模型，这类模型可以处理文本和图像等多种类型的数据。
-
拓扑神经动力学框架将序列建模转向逐神经元动力学
提出了一种新的序列建模框架，称为拓扑神经动力学（TND），将计算从逐层动力学转移到逐神经元动力学。该方法将神经网络系统表示为有向神经元图，其中每个神经元独立演化，集体计算从通过显式图拓扑的交互中涌现。在对 Pong 行为克隆任务的案例研究中，TND 的表现优于 RNN、LSTM、CfC 和 Transformer 等基线模型，取得了显著更高的接球率。
-
语言模型的演变：从单个神经元到LSTM
语言模型的演变追溯了一条从1958年的早期单个神经元到更复杂的架构，如多层感知机（MLP）和循环神经网络（RNN）的路径。虽然RNN引入了顺序处理，但它们在处理梯度消失问题时遇到了困难，这促使了长短期记忆（LSTM）网络的开发。LSTM通过其门控机制，显著提高了模型在更长序列中保留信息的能力，标志着现代语言模型发展中的关键一步。
-
新的Dyna-Pruner框架优化AI模型用于时空预测
研究人员开发了Dyna-Pruner，一个旨在优化时空预测模型效率和可扩展性的新框架。该系统根据输入特征自适应地剪枝数据和模型结构，创建特定于样本的稀疏子网络。Dyna-Pruner已在计算负载方面实现了显著降低，在NVIDIA Jetson AGX Orin等硬件上实现了高达70%的FLOPs减少和2.5倍的速度提升，同时对准确性的影响极小。
-
Transformer 解析：自注意力机制、并行处理和 LLM 架构
Transformer 是一种神经网络架构，它通过并行处理 token 而非像循环神经网络（RNN）那样顺序处理，从而彻底改变了 AI。这种由自注意力机制实现的并行处理，允许每个 token 直接与序列中的所有其他 token 进行比较。自注意力机制使用查询（Query）、键（Key）和值（Value）向量来确定每个 token 应给予其他 token 多少注意力，从而创建上下文感知的嵌入。这种方法通常通过多头注意力和位置编码得到增强…
-
新的LANTERN框架改进健康转移建模
研究人员开发了一个名为LANTERN的新框架，用于对时序不规则的纵向数据中的健康状态转移概率进行建模。该框架使用属性条件神经网络，从个体健康史和观测之间经过的时间中学习。在对健康与退休研究数据进行测试时，LANTERN在区分严重残疾方面表现出改进的辨别能力，并保持了良好的校准性，在转移矩阵误差方面优于逻辑回归、梯度提升树和循环神经网络。
-
将基于代理的模型调整为洛特卡-沃尔泰拉动力学
研究人员开发了一种方法，可以将基于代理的捕食者-猎物模型调整为更好地符合洛特卡-沃尔泰拉动力学。该方法使用基于特征的损失函数来优化环境和人口参数，奖励持续的振荡、相位滞后和种群有界性。该模型在基于 JAX 的 ABMax 框架中实现，允许在硬件加速器上进行高效、批处理的模拟，从而能够进行更复杂的自适应系统模拟。
-
混合搜索结合 RRF 和 LLM 重排序器可提高 RAG 准确性
本文详细介绍了检索增强生成 (RAG) 系统中的密集检索方法如何在查找相关信息时失败，特别是对于精确的关键字或专有名词。文章提出了一种混合搜索方法，该方法结合了密集检索（语义搜索）和稀疏检索（如 BM25 的关键字匹配）来克服这些限制。作者还引入了倒数排名融合 (RRF) 来智能地合并两种方法的搜索结果，并使用最终的 LLM 重排序器来优化排名靠前的候选结果，以提高准确性。
-
注意力模型在资产定价研究中展现出潜力
一篇新的研究论文探讨了将通常用于自然语言处理的高级注意力机制应用于实证资产定价领域的可能性。该研究专门考察了在包括COVID-19大流行在内的不同市场条件下，在大量美国股票数据集上，具有全局和稀疏注意力变体的预训练循环神经网络（RNN）模型。研究结果表明，这些注意力模型能够有效地推导回报和对冲风险，其中全局自注意力模型和滑动窗口稀疏注意力模型表现强劲，尤其是在波动性较大的时期。
-
Sokoban 游戏 AI 模型使用“路径通道”进行规划
研究人员部分逆向工程了用于 Sokoban 游戏的卷积循环神经网络 (RNN)。他们发现该网络将其未来移动或规划存储在其隐藏状态内的特定“路径通道”的激活中。这些通道受到编码学习到的转换模型的卷积核的影响，使 RNN 能够通过将激活从箱子传播到目标来构建规划，并使用负值在障碍物处修剪路径，从而有效地实现一种回溯形式。
-
从头开始构建循环神经网络详解
本文解释了从头开始构建循环神经网络（RNN）的过程。它强调RNN旨在通过在不同时间步长之间维护信息来处理序列数据。与前馈网络的核心区别在于其循环连接，这使得它们具有记忆能力。
-
新型 RNN 模块提升 BCI 准确性和可解释性
研究人员开发了一种新的后循环模块 (PRM)，以增强用于 P300 脑机接口 (BCI) 的循环神经网络 (RNN) 的可解释性和性能。该模块比现有方法将分类准确率提高了 9%，同时还提供了对影响模型决策的脑电图 (EEG) 数据时空模式的洞察。该框架旨在使基于 EEG 的模型更加透明，并可应用于 P300 检测以外的各种神经科学任务。
-
LSTM网络通过门控机制克服了RNN的记忆限制
长短期记忆（LSTM）网络是为了解决传统循环神经网络（RNN）在处理序列数据时存在的局限性而开发的。传统的RNN由于训练过程中梯度消失的问题，在长期记忆信息方面存在困难。LSTM引入了更复杂的内部结构和门控机制，使其能够选择性地记忆或遗忘信息，从而克服了RNN的局限性，提高了在语言建模和时间序列预测等任务上的性能。
-
受大脑启发的FRE-RNN使均衡传播在AI领域更具实用性
研究人员开发了一种新的循环神经网络架构，即反馈调节残差循环神经网络（FRE-RNN），旨在提高受大脑启发的计算中均衡传播（EP）的实用性。该模型结合了反馈调节以加速收敛，并利用残差连接来对抗梯度消失，在基准任务上取得了与反向传播相当的性能。这些进展显著降低了EP的计算成本和训练时间，使其更适用于大规模AI网络，并为物理神经网络中的原地学习提供了见解。
-
新的CNN-Transformer混合模型提高了时空预测效率
研究人员推出了一种名为MIMO-ESP的新型卷积神经网络（CNN）架构，旨在改进时空预测任务。该模型解决了现有CNN在全局信息和信息混合方面的困难，以及Transformer模型的高复杂性等局限性。MIMO-ESP将Transformer概念与CNN集成，并独立处理时间信息，旨在提高视频、交通和降水预测的效率和性能。
-
ParaRNN 为时变数据提供可解释、可并行化的循环神经网络
研究人员推出了一种新颖的循环神经网络 ParaRNN，专为处理时变数据而设计，旨在提高可解释性和并行化能力。该模型将循环动力学分解为不同的、可解释的组成部分，使其更适合统计建模应用。ParaRNN 在性能上可与传统 RNN 相媲美，同时提供更高的效率和对其行为更清晰的洞察。
-
深度雅可比估计方法表征生物系统中的非线性控制
研究人员开发了一种名为JacobianODE的新深度学习方法，可以从时间序列数据中估计动力学系统的雅可比矩阵。这种方法能够超越线性模型，更细致地理解相互作用子系统之间的控制。该方法成功应用于在工作记忆任务上训练的循环神经网络，证明了其表征甚至操纵网络行为的能力。