Recurrent Neural Networks
PulseAugur coverage of Recurrent Neural Networks — every cluster mentioning Recurrent Neural Networks across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
神经网络架构对时间数据偏移的鲁棒性各不相同
一篇新发表在arXiv上的研究论文，探讨了不同的神经网络架构如何应对时间分布偏移（即真实世界数据随时间变化导致模型性能下降的现象）。该研究系统地比较了多层感知机、卷积神经网络、循环神经网络和基于Transformer的编码器等多种模型家族，应用于图像分类、文本分类和文本回归任务。研究结果表明，依赖高度特定特征的架构往往下降更快，而使用更广泛、更稳定表示（如预训练编码器）的架构则对这些时间偏移表现出更强的鲁棒性。
-
新方法衡量时间序列预测模型中的滞后相关性
研究人员引入了一种新颖的方法来评估用于单变量时间序列预测的机器学习模型中的滞后相关性。该方法利用了诸如Ghost variables和Shapley values等框架，并结合了加性重要性度量来定义自相关函数（auto-relevance）和部分自相关函数（partial auto-relevance）。此外，还提出了一种新技术，用同一模型生成的一步预测来替换基于联盟的方法中的缺失特征。通过模拟和真实世界数据分析，并利用季节性ARMA…
-
残差连接：Transformer LLM 中的关键组成部分
本文深入探讨了残差连接的概念，这是 Transformer 架构中的一个关键元素，也是许多大型语言模型 (LLM) 的基础。这些连接对于缓解梯度消失问题至关重要，通过保留和添加来自先前层的信息，使模型能够学习更深层次的表示。残差连接在数学上表示为 output = input + F(input)，它促进了信息的流动，增强了模型在自然语言处理和图像分类等各种应用中捕获序列数据复杂模式的能力。
-
矩阵正交化增强RNN记忆，适用于长时任务
研究人员开发了一种方法，通过在读取操作中应用矩阵正交化来提高循环神经网络（RNN）的记忆能力。该技术借鉴了语言模型中使用的优化器，旨在增强联想回忆能力，尤其是在嘈杂的环境中。实验表明，对mLSTM记忆矩阵进行正交化处理，显著提高了在嘈杂联想回忆任务上的性能，尤其是在词汇量和序列长度较大时。
-
深度学习在多标签图像分类中的应用：全面综述
本文全面回顾了用于多标签图像分类（MLIC）的深度学习技术。它将现有的MLIC方法分为六类，包括面向区域、面向标签和面向架构的方法。该综述还讨论了该领域的挑战和未来的研究方向，旨在为研究人员提供一个系统的视角。
-
新框架支持使用自然语言控制多机器人团队
研究人员开发了一种新颖的框架，可以通过自然语言指令控制多机器人团队，从而在无需在操作期间直接调用语言模型的情况下，实时分解和执行复杂任务。该系统利用确定性有限自动机来表示任务，并利用循环神经网络将语言模型的推理提炼成紧凑、可部署的形式。然后，图神经网络将 RNN 的内部状态转换为去中心化机器人执行的控制策略，在模拟和现实场景中均表现出稳健的性能。
-
循环神经网络：抗崩溃动力学实现多时间尺度学习
一篇新的研究论文探讨了使用随机梯度下降训练的循环神经网络（RNN）中长期学习的挑战。该研究确定了状态动力学和参数动力学之间的竞争，这种竞争会导致快速遗忘的崩溃状态或缓慢的幂律遗忘的扩展的抗崩溃状态。这种对学习长期依赖至关重要的扩展状态，是由学习动力学中的重尾波动维持的，这些波动起到了机制的作用，而不是需要抑制的噪声。
-
循环神经网络的远程学习依赖于抗崩溃动力学
研究人员发现，循环神经网络学习长程依赖的能力受到过去输入影响消退速度的阻碍。这种以包络函数为特征的消退，可以是指数级的（导致崩溃和学习困难）或幂律的（允许多项式学习成本）。研究表明，这种行为源于网络状态动力学与参数动力学之间的相互作用，而学习中的重尾波动在通过抵消快速遗忘的趋势来维持长程学习方面起着至关重要的作用。
-
新的RNN框架将突触结构与异构动力学联系起来
研究人员开发了一个新的框架来分析随机递归神经网络（RNN），该框架整合了异构突触统计数据。这种方法可以推导出捕获平均群体活动和群体内变异性的平均场方程。研究表明，特定的突触结构可以影响中观群体动力学，为连接精细连接性与异构动力学和计算功能提供了一个原则性方法。该框架被应用于逆向工程网络连接，以复制在小鼠初级视觉皮层中观察到的活动模式。
-
局部循环被确定为神经网络计算的关键设计原理
研究人员确定了增强循环神经网络计算能力的关键结构设计原理。通过训练大量网络计算布尔函数，他们发现具有局部2-和3-循环的网络显著提高了计算能力。研究发现，这些循环结构是解决特定函数和准确预测网络性能的最小架构。研究还表明，添加少量稀疏连接的中间神经元可大幅提高计算能力，进一步强调了局部循环在连接神经元连接性与计算能力方面的重要性。
-
论文认为时间序列建模需要动力学系统视角
一篇新的立场论文提出，时间序列建模应采用动力学系统视角来推动该领域的发展。作者认为，大多数时间序列源于潜在的动力学系统，认识到这一点有助于解决当前预测和泛化方面的局限性。他们建议关注动力学系统重构（DSR）训练技术，在动力学系统模拟上预训练模型，并重新考虑使用Transformer，转而采用现代RNN来捕捉时间动态。该论文还强调了解决拓扑变化和利用通用动力学系统特性以更机制化地理解时间序列的重要性。
-
新研究表明RNN可以用固定网络逼近连续函数
一篇新论文探讨了循环神经网络（RNN）在逼近连续函数方面的理论能力。研究表明，具有固定权重和隐藏维度的单个RNN可以均匀地逼近闭区间上的任何连续函数。这是通过一种名为神经单元图灵机（TMNU）的新型中间模型实现的，该模型连接了算法自由度和RNN模拟能力。该研究还建立了极小极大下界，表明运行时间是这种固定网络逼近方法的重要资源。
-
深度学习模型利用能量特征改进机器人表面分类
研究人员探索了在移动机器人中使用能量衍生特征进行表面分类，并将其有效性与惯性数据进行了比较。利用卷积神经网络（CNN）、循环神经网络（RNN）、Transformer和Mamba等深度学习模型，研究发现仅使用能量特征即可达到85-90%的准确率。与惯性数据结合使用时，分类准确率提高到96-99%，其中能量特征提供了稳定的1-2%的提升。研究结果表明，基于能量的分类可以作为一种独立的方法，也可以作为其他传感模态的有价值的补充。
-
批处理层对实时欺诈检测的完整性至关重要
本文讨论了批处理层在维护实时欺诈检测系统完整性方面的重要作用。文章强调，虽然实时评分很重要，但强大的批处理流程对于重新审计和重新训练机器学习模型至关重要。这种方法有助于解决概念漂移等问题，并确保数据质量，最终实现更准确可靠的欺诈预防。
-
Transformer 解析：自注意力机制、并行处理和 LLM 架构
Transformer 是一种神经网络架构，它通过并行处理 token 而非像循环神经网络（RNN）那样顺序处理，从而彻底改变了 AI。这种由自注意力机制实现的并行处理，允许每个 token 直接与序列中的所有其他 token 进行比较。自注意力机制使用查询（Query）、键（Key）和值（Value）向量来确定每个 token 应给予其他 token 多少注意力，从而创建上下文感知的嵌入。这种方法通常通过多头注意力和位置编码得到增强…
-
新的随机注意力模块提高了移动睡眠分期的效率
研究人员开发了一种新的时间建模模块，称为随机注意力（RA），旨在用于移动设备上的高效睡眠分期。RA 利用固定的随机投影进行基于相似性的聚合，与 RNN 和 Transformer 等传统序列模型相比，降低了计算成本。通过随机注意力先验核（RAPK）进行的理论分析将 RA 分解为全局平滑和特征相似性项，提供了可解释性。在基准数据集上的实验表明，RA 在保持竞争性性能并显示出强大的泛化能力和鲁棒性的同时，将准确率和 F1 分数比基线方法提…
-
受生物学启发的神经网络利用小鼠大脑数据
研究人员通过利用MICrONS项目的数据，开发了受生物学启发的循环神经网络。该项目结合了小鼠视觉皮层电子显微镜和钙成像数据。这些网络利用了近12,000个神经元的神经元空间坐标、解剖连接和功能衍生关系来初始化权重，并在学习过程中施加空间约束。研究发现，结合了皮层结构和功能的网络在三个认知决策任务上的表现明显优于基线模型，其中功能权重初始化带来的收益最为显著。
-
LSTM网络在最佳训练时表现出近乎临界动力学
研究人员探索了人工神经网络中的临界性概念，特别是在长短期记忆（LSTM）模型中。他们观察到，经过最佳训练的小型LSTM会表现出无标度雪崩统计和近乎临界点的动力学。LSTM中这种近乎临界行为似乎是依赖于网络容量的涌现特性，而较大的模型则保持在次临界状态。
-
新的LSTM稳定性方法优于现有模型
研究人员开发了一种新方法，用于确保长短期记忆（LSTM）网络在系统辨识中的稳定性，特别是非线性动态系统，如热力学过程。他们的方法基于无穷范数推导出了输入-状态稳定性（ISS）的充分条件，该条件比以前的方法依赖更少的网络参数。该技术已在热力学系统上得到验证，其中ISS促进的LSTM在性能上优于基于物理的模型和其他循环神经网络变体。
-
调查详细介绍了用于神经活动动力学的机器学习方法
本文调查了用于分析神经活动动力学的机器学习方法，重点关注潜变量模型（LVM）。它将LVM分为单区域动力学、多区域通信和行为对齐建模。该调查还涵盖了诸如Transformers和扩散模型等大规模神经基础模型，讨论了可解释大脑动力学和神经解码的当前挑战和未来研究方向。