SPAR3S

新的SPAR3S模型可从稀疏多视图图像生成3D场景

研究人员开发了SPAR3S，一种新颖的稀疏自回归模型，用于从有限的多视图图像生成完整的3D场景。该方法在紧凑的、与体素对齐的3D潜在空间中运行，仅表示已占用的体素以提高计算效率。该模型通过可微分的3D高斯溅射（differentiable 3D Gaussian Splatting）通过光度监督来学习这个稀疏潜在空间，并采用掩码自回归Transformer来预测缺失的潜在标记及其空间分布，从而能够生成具有更高新视图质量的未见区域。