Glove2Hand

Glove2Hand框架从传感手套合成逼真的裸手交互

研究人员开发了Glove2Hand，一个将多模态传感手套数据转化为与物体交互的裸手光线写实视频的新框架。该方法保留了接触力和运动等关键物理动力学，而这些在传统视频记录中常常缺失。该系统使用新颖的3D高斯手部模型来实现时间一致性，并使用基于扩散的恢复器实现无缝场景集成，有效处理遮挡和形变。该框架还引入了HandSense，一个用于手部-物体交互（HOI）的新数据集，它将手套数据与视频同步，旨在改进接触估计和手部跟踪等应用。