Lars Ruthotto

神经网络常微分方程通过混合精度训练和因果预测方法取得进展

研究人员开发了一种新的神经网络常微分方程（Neural ODEs）混合精度训练框架，以降低计算成本。该框架使用低精度计算来评估网络输出和存储中间状态，同时通过自定义缩放和高精度累积解和梯度来维持数值稳定性。该方法配有一个名为“rampde”的开源PyTorch包，在图像分类和生成建模等任务中实现了约50%的内存减少和高达2倍的速度提升，准确性与单精度训练相当。