Latent Dynamics Reasoning

新的视频世界模型学习并推断物理动力学

研究人员推出了一种新颖的视频世界模型方法，称为潜在动力学推理（LDR），该方法专注于学习和推断场景演变的潜在动力学。与目前主要拟合像素的视频扩散模型不同，LDR明确地将潜在表征的转换建模为运动积分过程。该方法在物理基准测试中表现出卓越的性能，在分布内和分布外场景之间的误差差距显著减小。LDR还以显著更少的参数和更快的处理速度实现了这一点，甚至能够泛化预测其未明确训练过的运动。