Embodied Visual Tracking

新的USS框架统一了用于具身视觉跟踪的空间和语义提示

研究人员推出了一种新颖的具身视觉跟踪（EVT）框架USS，该框架超越了仅文本的目标指示，转向统一的空间-语义提示系统。该方法在一个单一架构中集成了文本、点、边界框和掩码等各种提示类型。USS利用潜在世界模型来预测未来的表示，增强了时间鲁棒性。实际机器人实验表明，显式的空间线索提高了跟踪成功率，尤其是在具有干扰物和长时间任务的复杂场景中，其性能优于仅文本的方法。