EgoPhys

EgoPhys框架从第一人称视角视频生成可变形物体物理模型

研究人员开发了EgoPhys，一个能够从仅RGB的第一人称视角视频中创建可变形物体可泛化物理模型的新框架。该系统使用紧凑的代码本来预测弹簧刚度场，从而无需进行每次弹簧的优化即可生成可变形的数字孪生。在真实的xArm6机器人上进行测试时，EgoPhys证明了其作为内部世界表示的实用性，有助于可变形物体规划，表明第一人称视角视频是真实到模拟管道的有前途的途径。