Neural Voxel Dynamics

新框架从视频中学习隐式3D物理

研究人员开发了一个名为Neural Voxel Dynamics的自监督框架，可以直接从视频中学习隐式3D物理。该方法通过在3D体素潜在空间（Volumetric Latent Space）而非2D图像空间中进行预测，解决了当前生成视频模型的局限性。通过反投影语义特征并利用单目深度先验，该模型学习了一个条件于动作的转移算子，该算子在不依赖显式经典模拟器的情况下隐式地模拟物理现象。