Referring Expression Segmentation

新的DRAgent框架使用MLLM进行精确物体分割

研究人员开发了DRAgent，一个利用多模态大语言模型（MLLM）的指代表达分割（RES）新框架。与直接预测坐标的先前方法不同，DRAgent采用判别式推理方法。它首先识别一组潜在的物体候选，然后使用MLLM从这些候选中准确选择目标物体。然后，这个选定的物体用于指导分割模型生成精确的像素级掩码。该框架还包括一个用于微调MLLM推理能力的数据管道，在标准的RES数据集上取得了有竞争力的结果。