Agra

新的AGRA方法改进了来自视觉模型的机器人动作控制

研究人员开发了一种名为AGRA的新方法，以提高世界行动模型（WAMs）的动作控制能力。这些模型使用视频生成来预测机器人操作的未来场景状态，但通常难以从可行的视觉未来中提取准确的动作。AGRA通过将中间视频扩散特征与视觉编码器的语义表征对齐来解决这个问题，确保动作解码器专注于与任务相关的区域。实验表明，AGRA增强了物体定位、可供性理解和泛化能力，使WAMs更加健壮。