EDU-CIRCUIT-HW

新数据集揭示多模态大语言模型在处理学生手写STEM解题时存在困难

研究人员推出了EDU-CIRCUIT-HW，一个包含1300多份大学STEM学生手写解题的新数据集，用于评估多模态大语言模型（MLLMs）。该数据集旨在解决MLLMs准确解读复杂手写内容（包括公式和图表）的挑战，而现有基准未能涵盖这些内容。评估显示，MLLMs的识别存在显著的潜在错误，表明其在自动评分等高风险教育应用中不可靠。提出的解决方案采用混合方法，预先纠正已识别的识别错误，将一小部分作业转交给人工评分员，其余则由AI评分员处理。