Weitian Wang

新的 HTTM 方法将 3D 重建 Transformer 加速 7 倍

研究人员开发了面部时间令牌合并 (HTTM) 技术，这是一种旨在加速视觉几何基础 Transformer (VGGT) 模型的新颖技术。VGGT 是一个开创性的 3D 场景重建模型，能够单次通过推断相机姿态、深度和几何。然而，其全局注意力机制为大规模重建带来了延迟瓶颈。HTTM 通过基于单个注意力头合并令牌来解决此问题，保留特征独特性并利用时空相关性，在对性能影响最小的情况下将推理速度提高了七倍。