EVFormer

EVFormer 模型融合视觉和肌电信号以改进手部姿态估计

研究人员开发了EVFormer，一种结合了以自我为中心的视觉和肌电图（EMG）数据以改进双手动姿态估计的新型模型。这种多模态方法通过整合先前的EMG信号，解决了纯视觉方法中的局限性，如自我遮挡和手部-物体交互。在一项可行性研究中，与仅视觉和后期融合基线相比，EVFormer的平均绝对误差降低了13%以上，在虚拟交互和康复等应用中显示出潜力。