Neural ODEs
PulseAugur coverage of Neural ODEs — every cluster mentioning Neural ODEs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新型连续时间RNN增强动力系统重构
研究人员开发了连续时间分段线性循环神经网络（cPLRNNs），以改进从时间序列数据中重构动力系统。这些cPLRNNs旨在通过更好地适应不规则到达的数据并提供更强的机制可解释性来克服离散时间模型的局限性。新方法绕过了数值积分，实现了高效的训练和模拟，能够半解析地确定平衡点和极限环等拓扑特征。
-
新的MPINeuralODE方法改进了动力学系统学习
研究人员开发了MPINeuralODE，一种使用神经网络常微分方程学习动力学系统的新方法。该方法通过整合物理信息残差和在多个初始条件上进行训练的课程，解决了对未见初始条件和长时域泛化能力差的常见问题。与基线Neural ODEs相比，MPINeuralODE在模拟Lotka-Volterra等系统时表现出更高的准确性和稳定性，同时还显示出汉密尔顿漂移的减少。
-
开发者从零开始用 C/CUDA 构建 GPT-2 规模模型
一位开发者创建了 NanoEuler，一个完全从零开始使用 C/CUDA 构建的 GPT-2 规模语言模型，摒弃了 PyTorch 等常用 AI 库。该项目侧重于工程方面，具有手动编写的训练前向和后向传播。该模型拥有约 1.16 亿个参数，可以在单个消费级 GPU 上进行训练，并展示了学习到的语法和百科全书式的知识，尽管由于其规模而缺乏现实世界的知识。
-
新理论赋能图神经网络的零样本尺寸迁移
研究人员为稀疏随机图上的图神经网络常微分方程（GNDEs）开发了一个零样本尺寸迁移的理论框架。该原理允许在较小图上训练的GNDEs在不重新训练的情况下部署到更大、相似的图上，利用局部、与尺寸无关的滤波器。该研究建立了GNDE解收敛到其无限节点极限的速率，并分析了训练方法，在实验中展示了准确的零样本迁移。
-
带植入吸引子的神经ODE增强分类任务
研究人员开发了一种使用具有策略性植入吸引子的神经常微分方程（Neural ODEs）进行分类任务的新颖方法。这些吸引子充当特定类别的指示器，引导神经网络近似能力塑造的动力学景观。通过定义吸引域，模型有效地将每个输入（视为初始条件）导向其指定的目标类别。
-
新的arXiv论文探讨了神经ODE、自适应INR和参数化PDE求解器
三篇新的研究论文已在arXiv上发表，每篇都探索了神经网络架构及其应用的新方法。第一篇论文介绍了用于分类任务的具有固定吸引子的神经ODE，其中吸引子指示目标类别，速度场将输入引导至这些目的地。第二篇论文提出了通过阻尼振荡进行光谱门控以实现自适应隐式神经表示，提出了一种将神经元激活建模为阻尼谐振子以在没有显式正则化的情况下适应光谱选择性的方法。第三篇论文详细介绍了参数化表示通过隐式随机调制（PRISM），这是一个专为高维和高阶神经PDE…
-
新的神经网络架构应对复杂的科学计算问题 · 跟踪 8 个来源
研究人员正在开发新颖的神经网络架构来求解复杂的偏微分方程 (PDE) 和建模动力学系统。这包括用于离子传输的面向结构的随机神经网络 (SO-RaNN)，用于具有已知图结构的_时间序列_预测的_信息_神经_控制_微分方程 (INDEQS)，以及用于高保真 PDE 解的_启动器-迭代器_神经算子 (SINO)。此外，还提出了正交正则化 (OrthoReg) 来通过防止组件之间的重叠来改进混合符号-神经模型，而其他工作则探索了现代神经网络架…
-
新型混合模型使用神经ODE学习神经元动力学
研究人员开发了一个新颖的混合建模框架，将神经常微分方程（Neural ODEs）集成到生物物理神经元模型中。这种方法可以直接从电压记录中灵活地发现未知或错误指定的离子通道动力学，同时保持机制的可解释性。该方法已证明其能够拟合现有的离子通道模型并恢复未知的门控动力学，甚至能泛化到不同的刺激模式。此外，通过创建一个具有学习轴向电流的单室混合模型，可以降低复杂神经元模型（如多室皮层神经元模型）的计算成本。
-
新理论模型神经ODE训练动力学
研究人员引入了一个新的理论框架来研究神经常微分方程（neural ODEs），它们被用于模拟动力学系统和深度学习。该框架基于动力学平均场理论，允许在高维极限下分析训练动力学。这项工作旨在为神经网络的训练和泛化特性提供理论见解，特别是在ResNets和生成模型等环境中。
-
Neural-ODEs 获得具有可证通用性的不动点控制
研究人员为神经常微分方程（Neural-ODEs）开发了一种新技术，使其能够精确控制系统中的不动点。该方法确保了速度场在指定点处恰好为零，从而在不牺牲模型表达能力的情况下约束基于梯度的训练。在这些局部约束下，Neural-ODEs 的通用性得到了证明，它提供了一种计算高效的施加不动点的方法，并已在物理模型上得到验证。
-
可微分化学的PINNs求解刚性反应系统
研究人员开发了一个新颖的框架，将可微分化学求解器与物理信息神经网络（PINNs）相结合，以解决刚性和参数化反应系统。该方法通过引入专门的求解器、用于参数化解决方案的网络架构以及针对刚性反应优化的残差加权，解决了标准PINNs的局限性。该框架在氢燃烧模型上的有效性得到了证明，成功处理了初值/边值问题、逆参数识别和参数化偏微分方程，从而将PINNs扩展到以前无法触及的化学系统。
-
新的LTE-ODE模型通过处理连续和离散动力学来增强交通预测
研究人员开发了局部截断误差引导神经ODE（LTE-ODE），以改进大规模交通网络中的时空预测。传统的神经ODE由于Lipschitz连续性约束，在处理突然异常时存在困难，导致过度平滑。LTE-ODE将局部截断误差重新用作归纳偏置，创建了一个动态空间注意力掩码，允许在稳定区域进行精确的连续演化，并在冲击期间进行自适应离散补偿。该方法在没有流形惩罚的情况下实现了最先进的性能，并为实际部署提供了灵活性。
-
神经网络常微分方程通过混合精度训练和因果预测方法取得进展
研究人员开发了一种新的神经网络常微分方程（Neural ODEs）混合精度训练框架，以降低计算成本。该框架使用低精度计算来评估网络输出和存储中间状态，同时通过自定义缩放和高精度累积解和梯度来维持数值稳定性。该方法配有一个名为“rampde”的开源PyTorch包，在图像分类和生成建模等任务中实现了约50%的内存减少和高达2倍的速度提升，准确性与单精度训练相当。