MMStar

新的CGC框架提升多模态LLM的细粒度图像理解能力

研究人员推出了一种名为组合式地面对比（CGC）的新框架，旨在增强多模态大语言模型（MLLMs）的细粒度多图像理解能力。该方法通过利用现有的单图像标注构建训练实例，解决了空间幻觉和物体恒常性等挑战。CGC利用跨图像和图像内对比学习，以及基于规则的空间奖励系统，来改进归因和对齐。该框架在MIG-Bench和VLM2-Bench等基准测试中展现了最先进的性能，并显示出对其他多模态任务的积极迁移学习效果。