Exploratory Manipulation Trace QA

新方法改进视频中的机器人动作解读

研究人员开发了一种名为闭环轨迹蒸馏（Closed-Loop Trace Distillation）的新方法，以提高视觉语言模型（VLMs）从视频和传感器数据中解读机器人动作的能力。该技术从标记的训练轨迹中蒸馏出一种称为蒸馏阅读启发式（Distilled Reading Heuristic, DRH）的自然语言提示。当与冻结的VLM一起使用时，DRH显著提高了预测最小成功动作链的准确性，在各种机器人任务上的表现优于原始模态基线高达0.47。