Latent Visual Contrastive Reasoning

新框架增强多模态大模型进行复杂视觉推理的能力

研究人员推出了一种名为“潜在视觉对比推理”的新型框架，旨在增强多模态大语言模型执行复杂视觉推理的能力。该方法生成多个条件于问题的潜在视觉分支，作为图像标记上的软假设，以更好地处理多个视觉假设或竞争证据区域相关的场景。通过使用边界框标注和软对比目标，该框架鼓励与证据相关的分支与标注区域对齐，同时将其与负面证据进行对比。在Qwen2.5-VL模型3B和7B规模上的实验表明，在感知密集型视觉推理基准测试中，相比基线方法有了显著的改进。