研究人员开发了一种新的神经网络常微分方程（Neural ODEs）混合精度训练框架，以降低计算成本。该框架使用低精度计算来评估网络输出和存储中间状态，同时通过自定义缩放和高精度累积解和梯度来维持数值稳定性。该方法配有一个名为“rampde”的开源PyTorch包，在图像分类和生成建模等任务中实现了约50%的内存减少和高达2倍的速度提升，准确性与单精度训练相当。 AI
影响 引入了一种显著减少内存和加速Neural ODEs训练的方法，有可能实现更大、更复杂的连续时间模型。
排序理由 这是一篇研究论文，详细介绍了一种针对特定类型神经网络架构的新训练方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2510.23498v2 Announce Type: replace-cross Abstract: Exploiting low-precision computations has become a standard strategy in deep learning to address the growing computational costs imposed by ever larger models and datasets. However, naively performing all computations in l…
Causal inference in continuous-time sequential decision problems is challenged by hidden confounders. We show that, in latent state-space models with time-varying interventions, observability of the latent dynamics from observed data is necessary for identifying dynamic treatment…