OCR-MetaReasoning Benchmark

新基准测试多模态大语言模型在富文本图像中的元推理能力

研究人员推出了OCR-MetaReasoning Benchmark，这是一个旨在评估多模态大语言模型（MLLMs）在理解包含文本的图像时的元推理能力的新评估工具。该基准专门测试MLLMs应用可见规则、抽象隐藏模式以及推断缺失信息的能力，将最终答案的正确性与推理过程的合规性分开。使用此基准进行的实验表明，即使当前MLLMs能够生成导致最终答案不正确的合理推理步骤，它们在应用可见规则和基于布局进行推断等任务上仍然面临挑战。