Harper

STAR方法利用骨骼和视觉数据增强交互识别能力

研究人员开发了STAR（Skeletal Token Alignment and Rearrangement，骨骼令牌对齐与重排），一种利用骨骼数据识别人类与机器人及人类之间交互的新方法。STAR解决了在仅使用骨骼数据时，如何利用交互线索和弥补视觉信息缺失的挑战。该方法在共享的潜在空间中对齐骨骼和RGB视频表示，并结合了实体重排机制和交互焦点策略。在多个数据集上的实验表明，STAR的性能优于现有方法，同时仍允许仅使用骨骼进行推理。