研究人员推出了DrawingVQA，这是一个新的基准，旨在评估多模态大语言模型（MLLMs）在分析复杂建筑图纸时的能力。这些图纸整合了几何数据、符号表示、注释和领域特定文本，对AI系统提出了独特的挑战。该基准包含33张建筑图纸和92个问答对，按三个推理深度进行分类：感知理解、上下文解释和领域专家推理。初步评估表明，当前MLLMs与人类专家之间存在显著的性能差距，尤其是在更复杂的推理任务中。 AI
影响 该基准旨在推进领域专业化的多模态推理，可能促进AI更好地融入工程工作流程。
排序理由 该集群包含一篇介绍AI模型评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
