InSituMeasure

新基准揭示多模态大语言模型在工业测量任务中存在困难

研究人员推出了 InSituMeasure，这是一个旨在评估多模态大语言模型（MLLMs）情境化测量基础能力的新基准。该基准包含 2,922 个真实的工业监控场景，涵盖八类专业工程仪器，并对噪声和故障诊断进行了详细标注。目前最先进的 MLLMs 表现出显著的局限性，最佳模型的联合数值-单位准确率仅为 25.7%，置信度诊断 F1 分数仅为 51.8%，这凸显了通用多模态理解与可靠工业测量之间的差距。