DrawingVQA

新的DrawingVQA基准测试MLLMs处理复杂建筑图纸的能力

研究人员推出了DrawingVQA，这是一个新的基准，旨在评估多模态大语言模型（MLLMs）在分析复杂建筑图纸时的能力。这些图纸整合了几何数据、符号表示、注释和领域特定文本，对AI系统提出了独特的挑战。该基准包含33张建筑图纸和92个问答对，按三个推理深度进行分类：感知理解、上下文解释和领域专家推理。初步评估表明，当前MLLMs与人类专家之间存在显著的性能差距，尤其是在更复杂的推理任务中。