Interact3D

Interact3D框架从单个图像生成具有碰撞感知的3D对象

研究人员开发了Interact3D，一个从单个图像生成可交互3D对象的新框架，即使在物体部分被遮挡的情况下也能实现。该系统首先使用生成式先验创建高质量的独立资产，然后采用一个两阶段的组合流程。该流程全局对齐主要对象，并使用基于可微分符号距离场（SDF）的优化来整合后续几何体，该优化会惩罚交叉。此外，一个视觉语言模型（VLM）会分析渲染结果，以指导迭代式自我纠正，从而实现更具碰撞感知、几何保真度和空间关系得到改善的组合。