HO3D

AGILE框架通过代理生成重建手部-物体交互

研究人员开发了AGILE，一个用于从视频中重建手部-物体交互的新框架。该方法使用具有视觉语言模型的代理管道来指导生成模型，即使在严重遮挡的情况下也能创建完整的物体网格。它通过使用基础模型进行初始姿态估计和时间跟踪来绕过传统的运动恢复结构，并通过集成约束确保物理上的合理性。AGILE在具有挑战性的视频序列上展示了卓越的几何精度和鲁棒性，为机器人技术生成了可用于仿真的资产。