S$^2$VAE

超越高斯瓶颈：视觉 Transformer 特征空间的拓扑对齐编码

研究人员开发了一种名为 S$^2$VAE 的新潜在学习框架，旨在改进视觉世界模型中 3D 几何和相机动力学的表示。该方法采用几何优先视角，专注于压缩场景的潜在 3D 状态（包括相机运动和深度），而不仅仅是外观。通过采用一种在瓶颈中具有超球体结构的新型变分自编码器，S$^2$VAE 旨在高压缩率下保留方向和几何语义，在深度估计和姿态恢复等任务中表现优于传统高斯瓶颈。