WildRGB-D

新方法直接从视频潜在表示预测3D几何

研究人员推出了Latent Bridge，一种直接从视频生成潜在空间预测3D几何的新颖方法。该方法绕过了中间RGB解码和重新编码的需要，实现了更高效的端到端生成和重建。Latent Bridge利用特定于表示的桥接器，适用于Wan2.1和V-RAE等模型，能够前馈预测相机、深度和3D点云。该方法在Co3Dv2和WildRGB-D等数据集上展示了具有竞争力的几何重建质量，并且训练好的桥接器可重用于不同的视频生成任务，无需重新训练。