Spatial Evidence Graph

新框架在无需重新训练的情况下增强了多模态大语言模型的空间推理能力

研究人员开发了一个新的无训练框架，旨在提高多模态大语言模型（MLLMs）的空间推理能力。该框架名为 Trace, Verify, and Correct，构建了一个空间证据图（SEG）将推理步骤与视觉证据联系起来。然后，它使用空间证据可靠性评估（SERA）来评估视觉证据的可靠性并识别不一致之处。通过精确定位最早被矛盾的空间证据，该系统指导 MLLM 修改其推理和最终答案，在各种设置下平均准确率提高了 8.55 个百分点。