UMI-VQA

VISTA框架通过物理验证数据改进机器人训练

研究人员开发了VISTA框架，旨在利用真实机器人数据改进视觉-语言-动作（VLA）模型的训练。VISTA解决了两个关键问题：机器人鱼眼摄像头视图与标准VLM表示之间的不匹配，以及人类收集的轨迹中包含物理上不可行的动作。该框架包括一个用于扭曲视觉对齐的VQA数据集，一个基于物理有效性对轨迹进行评分和过滤的管道，以及一种用于学习基础和动作预测的联合训练方法。