Item discrimination

大型语言模型在评估中难以衡量学生熟练程度的差异

一项发表在arXiv上的新研究调查了大型语言模型（LLMs）在教育评估中衡量项目区分度的能力。研究人员使用两种方法评估了42个LLMs：直接预测区分度值，以及使用LLM答案作为合成学生反应的基于反应的校准。研究结果表明，虽然LLMs显示出与项目区分度相关的某些非随机信号，但它们尚未能可靠地捕捉评估项目如何区分不同熟练程度的学生，表现最好的模型仅达到0.241的Spearman相关系数。