Visual geometry transformers
PulseAugur coverage of Visual geometry transformers — every cluster mentioning Visual geometry transformers across labs, papers, and developer communities, ranked by signal.
-
新研究探索自适应注意力和扩散模型在三维重建中的应用
两篇新研究论文介绍了三维重建和新视图合成的创新方法。Guile Wu及其同事开发的TurboVGGT在视觉几何Transformer中利用自适应交替注意力机制,实现了快速高效的多视图三维重建。另外,Kangjie Chen及其团队的VGGT-Diff将视觉几何潜在表示与扩散模型相结合,用于稀疏视图新视图合成,解决了几何保真度和生成能力之间的权衡问题。这两种方法都旨在提高从有限视觉输入生成三维场景的质量和效率。
-
新的RelationVGGT框架实现了3D空间关系分割
研究人员推出了一种新颖的用于3D空间关系分割的框架RelationVGGT。该系统在一个前馈、无姿态的多视图设置中运行,能够根据指定的主体和关系文本查询来分割目标,而无需目标类别名称。RelationVGGT集成了来自视觉基础模型的语义特征和来自3D几何基础模型的几何感知表示,并利用关系Transformer进行跨视图预测。该框架还包括一个基于ScanNet++和视觉语言模型(VLMs)以及大型语言模型(LLMs)构建的自动化标注管道…
-
新方法提升视觉Transformer效率和几何推理能力
研究人员开发了两种新方法来提高视觉几何Transformer的效率。一种方法“Good Token Hunting”采用两阶段框架,通过选择关键Token来降低计算成本,在包含500张图像的场景中实现了超过85%的加速。另一种方法“GeoWeaver”则侧重于在场景推理之前,利用几何证据来锚定视觉Token,通过自适应地将几何抽象分配给单个Token来增强空间推理能力。