PulseAugur
中
实时 12:19:10
实体 Recurrent Neural Networks

Recurrent Neural Networks

PulseAugur coverage of Recurrent Neural Networks — every cluster mentioning Recurrent Neural Networks across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
32
90 天内 114
发布 · 30天
0
90 天内 0
论文 · 30天
28
90 天内 107
层级分布 · 90 天
主题
关系
情绪 · 30 天

9 天有情绪数据

最近 · 第 1/7 页 · 共 122 条
  1. TOOL · CL_369167 ·

    CNNs:深度-宽度缩放影响神经切线核行为

    本文研究了在深度和宽度同时缩放时,卷积神经网络(CNNs)中神经切线核(NTK)的行为。研究人员发现,在特定的初始化机制下,NTK色散(衡量核变异性的指标)随着深度与宽度之比(L/C)的增加而增加。此外,即使初始色散较低,在训练过程中发生的核旋转也普遍随着L/C的增加而增加。这些发现表明,L/C比率在CNNs偏离理论无限宽度极限方面起着重要作用,并且初始化和训练稳定性具有不同的缩放行为。

  2. TOOL · CL_366182 ·

    新的“时间秩”概念限制了RNN,研究人员提出解决方案

    一篇新论文提出了“时间秩”的概念,认为这是循环神经网络(RNN)中一个独立于梯度问题的限制。这种秩约束会造成信息瓶颈,限制了网络随时间保持独立输入方向的能力。研究人员提出了一种使用结构化高维状态动力学的方法来维持时间容量并防止饱和,在标准RNN框架内展示了在序列任务上的学习改进。

  3. COMMENTARY · CL_354193 ·

    人工智能的演进:从感知器到Transformer

    现代大型语言模型(LLM)的发展是数十年人工智能研究的结晶,建立在Rosenblatt于1958年提出的感知器等基础概念之上。早期进展包括20世纪80年代-90年代的循环神经网络(RNN)和1997年的长短期记忆(LSTM)网络,它们按顺序处理文本,但在长期记忆方面存在困难。2014年,注意力机制的引入带来了重大突破,使模型能够同时考虑所有输入词,为2017年“Attention Is All You Need”论文中提出的Trans…

  4. RESEARCH · CL_352277 ·

    SinkState通过低秩状态压缩优化混合LLM服务

    研究人员开发了SinkState,一种通过有效管理循环状态来优化混合大型语言模型(LLM)服务的新颖方法。该技术利用了这些状态通常具有低秩结构的观察结果,这意味着存储的许多信息是冗余的。SinkState采用动态奇异值分解(SVD)以自适应低秩形式存储状态,从而减少内存使用并加快解码速度。实验表明,SinkState在保持模型准确性的同时,可以将峰值内存减少高达2.6倍,并将解码速度提高高达1.58倍。

  5. TOOL · CL_352239 ·

    新型布罗伊登方法增强状态空间模型评估

    研究人员开发了一种使用布罗伊登方法的新型拟牛顿方法,用于高效评估非线性状态空间模型。该方法通过从轨迹割线导出的雅可比块的对角加低秩近似来捕获耦合项。该方法避免了自动微分,并且通过秩压缩与并行扫描兼容,证明了有限步内精确轨迹恢复。经验上,该方法在RNN、并行MCMC算法和去噪扩散模型等模型的收敛速度和并行执行方面显示出优势,尤其是在雅可比评估成本高或状态维度大的情况下。

  6. TOOL · CL_344155 ·

    自适应循环神经网络为灵活工作记忆开发振荡相位编码

    研究人员开发了自适应循环神经网络(RNN),在对灵活工作记忆任务进行训练时,这些网络会自发地表现出振荡相位编码(OPC)。这种涌现的特性允许RNN通过让记忆的项目在共享节律的不同相位上重复出现来存储和处理信息,其中幅度编码项目身份,相位编码序列顺序。该研究确定了适应性、可变延迟和灵活读出对于OPC至关重要,从而导致网络中出现分别处理身份和序列的内容细胞和时间细胞。

  7. TOOL · CL_344054 ·

    新的双重稳健方法可估计个性化治疗的因果效应

    研究人员开发了一种新的双重稳健方法,用于估计个性化、多值处理方案的因果效应。该方法通过整合处理分配的多项式模型和用于结果及处理建模的循环神经网络(RNN),扩展了纵向目标最小损失估计器(LTMLE)。模拟研究表明,当与集成机器学习或RNN结合时,此LTMLE框架可提供近似无偏的结果,优于在动态规则下显示出显著偏差的序列g-计算方法。与二项式回归相比,在处理模型中使用RNN也可获得更稳定的推断。

  8. TOOL · CL_342311 ·

    人工智能精确预测复杂热条件下的材料晶粒生长

    研究人员开发了一个新的框架,用于预测非等温条件下多晶材料中晶粒的生长。该方法结合了卷积神经网络来编码晶粒尺寸分布,多层感知机来处理热描述符,以及循环网络来进行时间预测。该模型在前端跟踪模拟数据上进行训练,能够准确重现各种热历史下的晶粒生长动力学,在交叉验证中实现了较低的平均相对误差。

  9. TOOL · CL_349632 ·

    新方法降低了训练循环神经网络的计算成本

    研究人员开发了一种称为截断反向传播随时间推移的方法,以降低训练循环神经网络的计算成本。该技术涉及将梯度计算限制在较短的时间范围内,从而产生两种边界效应:缺失的过去信息会影响前向状态,而截断的反向递归会省略未来信息。该研究提出将参数更新的梯度平均与计算上下文分离,从而产生一种双向梯度高速公路性质,其中误差随与上下文边界的距离呈指数衰减。这项工作为梯度对齐和最优性差距提供了理论保证,并在 Wiener-Hammerstein 基准测试上的…

  10. RESEARCH · CL_340196 ·

    AI研究通过新数据集和方法解决低资源手语问题 · 已追踪2个来源

    两篇近期研究论文解决了为低资源手语开发AI的重大挑战。第一篇论文虽然已被撤回,但提出了针对阿塞拜疆手语等语言的途径,强调社区参与和以数据为中心的AI。第二篇论文介绍了Maswao,这是一个通过自动收集和准备方法创建的南非手语新数据集,并使用Transformer和Recurrent Neural Networks对其性能进行了基准测试。

  11. RESEARCH · CL_340171 ·

    arXiv论文详述循环网络和前馈网络中的反向传播细节

    arXiv上的两篇新论文深入探讨了反向传播的复杂性,这是训练神经网络的基本算法。第一篇论文探讨了在循环模型中截断反向传播随时间推移如何导致“梯度收费公路特性”,影响状态演化和梯度计算。第二篇论文详细分步推导了前馈网络的标准反向传播算法,并通过一个运行示例和NumPy实现来说明其应用。

  12. TOOL · CL_336437 ·

    关于通过偏序集建模进行RNN剪枝的新理论发布在arXiv上

    一篇新论文提出了循环神经网络(RNN)的基于格的剪枝的修正理论,重点关注信息如何在神经元之间流动。该研究将RNN依赖关系建模为偏序集(poset),并探讨保留其依赖格的特定元素。在LSTM处理的顺序MNIST上的评估表明,现有的剪枝规则可能会移除重要的循环权重,而强制施加顺序结构比发现它更有效。

  13. TOOL · CL_327284 ·

    新的 Bi-Mamba 模型通过实时轨迹预测增强机器人导航

    研究人员开发了 TrajMamba,这是一种新颖的双向状态空间模型,专为使用 RGB-D 相机进行实时人类轨迹预测而设计。该模型通过对训练和推理过程中的姿势提取和深度处理进行对齐,解决了训练-部署流程的差距。TrajMamba 利用堆叠的双向 Mamba 块来编码速度数据,并使用 GRU 头部来解码未来轨迹,在 ETH/UCY 基准测试上实现了平均 ADE 为 0.29m 和 FDE 为 0.51m。凭借 262K 的紧凑参数,它可以…

  14. TOOL · CL_327200 ·

    新的RNN架构整合了生物学约束以实现稳定训练

    研究人员开发了一种新的循环神经网络架构,称为EISep RNN,该架构成功地整合了Dale原理——一种神经元仅为兴奋性或抑制性的生物学约束。先前在人工神经网络中实现此原理的尝试常常导致训练困难或性能下降。然而,EISep RNN在多任务、持续学习和强化学习等各种学习任务中,表现出更稳定的训练、相当或更好的结果,以及更模块化的连接性。这项工作表明,Dale原理可以作为循环神经网络的有效归纳偏置。

  15. TOOL · CL_327199 ·

    持续学习提升表面肌电信号手势识别准确率

    研究人员探索了持续学习策略在循环神经网络表面肌电信号(sEMG)手势识别中的应用。他们在NinaPro DB1数据集上的评估显示,经验回放显著优于弹性权重巩固和朴素微调,在类别增量漂移下实现了83.3%的准确率,同时最大限度地减少了准确率损失。研究还发现,在打乱的、独立分窗的片段上训练模型对于稳定学习至关重要,因为时间顺序可能导致单一主导手势的预测。此外,结合手工制作的时域特征可以将每个任务的准确率提高高达40%,而经验回放是唯一能在…

  16. TOOL · CL_320191 ·

    大脑分形时间动力学与AI神经网络几何学相关联

    Brent Allen Jensen博士发现大脑的时间动力学与循环神经网络(RNN)的几何学之间存在重要联系。他提出,神经活动中的分形时间模式类似于高精度RNN中发现的表征几何学。这一见解表明,意识可能源于神经过程中的自相似时间压缩和碎片化,为理解AI和生物系统中涌现的心智状态提供了一个潜在的统一框架。

  17. TOOL · CL_315424 ·

    开发出高效U-Net模型,用于快速脊柱CT分割

    研究人员开发了SpineContextResUNet,这是一种计算高效的3D残差U-Net,用于快速脊柱CT分割。该模型解决了当前最先进方法的高资源需求问题,使其适用于GPU访问受限的环境或部署在边缘设备上。该架构使用轻量级的Context Block和并行多扩张卷积来捕获长距离依赖关系,而无需Transformer或RNN的计算成本。在公开基准VerSe2020和CTSpine1K上进行测试,SpineContextResUNet取…

  18. TOOL · CL_315162 ·

    揭示Transformer注意力机制的新几何方法

    本文介绍了一个新的几何框架,用于理解和开发Transformer架构中的注意力机制。作者将“知识世界”和“注意力配对”等概念形式化,以推导出标准、因果、线性、张量注意力和循环神经网络等现有注意力类型。该研究还提出了可能激发全新神经网络架构的几何空间。

  19. TOOL · CL_312750 ·

    新的时空攻击增强了对认知雷达的对抗性威胁

    研究人员开发了一种名为分段时空攻击(SSTA)的新方法,以提高对抗性攻击对认知雷达的有效性。SSTA通过增强跨架构可迁移性和对物理通道失真的抵抗力来解决现有攻击的局限性。该技术使用特征解耦机制,并将通道失真整合到其攻击迭代中,在各种深度学习模型上展示了攻击成功率的显著提高。

  20. TOOL · CL_308581 ·

    生成式AI和LLM面试题涵盖基础到生产

    本文提供了30道生成式AI和LLM职位的全面面试题列表,涵盖了Transformer架构、注意力机制和分词等基础概念。它还深入探讨了LLM的训练、微调、提示工程、推理以及安全生产部署。这些问题旨在模拟典型的面试流程,从基本原理开始,逐步深入到实际应用,并附有简洁的模型答案,供候选人参考和调整。