DocHop

新的DocHop基准挑战多模态大语言模型在多跳文档推理方面的能力

研究人员推出了DocHop，这是一个旨在评估多模态大语言模型（MLLMs）在处理信息密集型文档时多跳推理能力的新基准。与评估图表和文本孤立理解的现有基准不同，DocHop要求模型利用文本上下文来选择、解释和聚合图表中的数据。该基准包含六个类别共2,074个示例，通过随机流水线生成，以控制推理深度和视觉密度。实验显示，人类标注者（准确率超过90%）与表现最佳的模型（62.83%）之间存在显著的性能差距，且随着推理复杂度的增加，性能会下降。