DAR-4D benchmark

新的 DAR 方法使视频模型能够渲染 4D 场景

研究人员开发了 DAR，这是一种新颖的方法，使预训练的视频扩散模型能够充当 4D 渲染器。该方法使用动画网格、相机轨迹和参考图像来约束这些模型，从而实现考虑相机运动和内部对象动画的场景生成。DAR 投影一个神经 4D G-缓冲区，其中包含跟踪、世界位置和法线信息，然后通过加宽的控制适配器将其集成到模型中。在 DAR-4D 基准测试上的评估表明，与 Wan2.2-Depth 等现有方法相比，PSNR、SSIM 和 LPIPS 有显著提高。