Top-View Spatial Alignment

TabletopGen引擎为机器人操作生成交互式场景

研究人员开发了TabletopGen，这是一个用于生成交互式桌面场景和模拟机器人操作任务的新型引擎。该系统可以从文本或图像创建逼真的3D对象模型，然后使用可微分旋转优化器和俯视空间对齐将其排列成无碰撞、物理上合理的布局。生成的场景在物理模拟器中组装，产生用于合成多模态操作数据的稳定环境。实验表明，TabletopGen实现了最先进的视觉保真度和准确性，并且从其收集的轨迹已成功转移到真实的机械臂上。