PanoCaps

PANORAMA模型通过精确的像素级地面化提升图像理解能力

研究人员推出了一种新颖的视觉-语言模型PANORAMA，专为全景式地面化描述任务而设计。该任务要求模型不仅要描述图像中的物体和区域，还要将每个描述性短语精确地链接到其对应的像素级掩码。为此，开发了一个名为PanoCaps的新基准，其中包含人工标注的密集描述，具有广泛的像素覆盖范围和实体级图像-文本对齐。PANORAMA通过从短语条件池中选择候选掩码来改进现有方法，从而实现更准确的分割和掩码一致的描述。