CoopSR

新框架使机器人能够使用多个视频源进行协作推理

研究人员为多模态大语言模型（MLLMs）引入了一个名为 SP-CoR 的新框架，以实现来自多个机器人视角的协作空间推理。该框架旨在通过整合机器人团队同步的以自我为中心的视频，来回答有关空间关系、时间事件和可见性的复杂问题。为此，他们还开发了 CoopSR，这是该任务的第一个基准测试，以及 EgoTeam，一个包含超过 114,000 个问答对的数据集，这些数据来自模拟和真实机器人团队。