PhotoHOI

新方法可从单张照片合成3D手部-物体交互

研究人员推出PhotoHOI，一种从单张RGB照片和语言指令合成3D手部-物体交互的新颖方法。该方法通过首先将输入解析为结构化的任务规范，绕过了对预定义物体几何形状或轨迹的需求。然后，它恢复相关的3D场景并规划可感知碰撞的物体轨迹，学习可迁移的手部运动和抓取精炼先验。在GRAB和H2O等数据集上的实验表明，与现有方法相比，接触质量有所提高，穿透性有所降低，并成功应用于真实照片和未见过物体。