Temporal Shift Modules

新框架从视频生成精确的机器人命令

研究人员开发了一个新的以对象为中心的视频理解框架，旨在生成精确的机器人操作命令。该系统将动作识别与对象识别分离，利用时间偏移模块（Temporal Shift Modules）进行动作分类，并采用一种新颖的对象选择算法来精确定位相关对象。通过视觉语言模型（Vision-Language Models）处理，所选对象能够实现强大的类别识别和零样本泛化能力，在修改版的Something-Something V2数据集上取得了高精度。