street-level input images

GroundControl 利用卫星图像增强新视图合成

研究人员开发了 GroundControl，这是一种新颖的扩散模型，它利用卫星图像来改进从稀疏街景图像进行的新视图合成。这种方法解决了现有多视图扩散模型在生成输入范围之外的视图时容易产生不切实际的空间布局幻觉的问题。通过结合卫星视图和街景视图的交叉注意力条件，GroundControl 可以在无需显式 3D 场景重建的情况下生成无缝且逼真的新视图。实验表明，它在基线方法上具有优越性，尤其是在具有挑战性的外推场景中。