Dorian Benhamou Goldfajn

RoboTalk 数据集训练小型 VLM 进行多机器人协调

研究人员开发了 RoboTalk，这是一个新的流程和数据集，旨在训练小型视觉语言模型 (VLM) 进行多机器人协调。该系统在 53 项厨房任务中生成了 7,950 条多模态轨迹，使机器人在部分可观察的情况下进行通信和行动。使用 RoboTalk 对开源模型进行微调，已显示出任务成功率的显著提高，从大约 2% 提高到新任务的 77%。