Look Before You Reason

新LoRe框架通过隐式视觉思维提升多模态推理能力

研究人员推出了一种名为“三思而后行”（LoRe）的新型框架，旨在提高视觉语言模型（VLMs）在多模态推理方面的效率和准确性。LoRe通过在单次交互轮次中隐式识别和关注最相关的图像区域来工作，从而避免了多轮方法相关的计算冗余和推理缓慢。该方法通过关键视觉信息增强模型的内部记忆缓存，从而可以直接利用关键线索进行推理。为了促进对这种细粒度推理能力的评估，开发了一个名为COCO-ObjQA的新基准，专注于以对象为中心的多模态任务。