PulseAugur
中
实时 10:29:55
English(EN) LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment

大型语言模型在评估中难以衡量学生熟练程度的差异

作者 PulseAugur 编辑部 · [2 个来源] ·

一项发表在arXiv上的新研究调查了大型语言模型（LLMs）在教育评估中衡量项目区分度的能力。研究人员使用两种方法评估了42个LLMs：直接预测区分度值，以及使用LLM答案作为合成学生反应的基于反应的校准。研究结果表明，虽然LLMs显示出与项目区分度相关的某些非随机信号，但它们尚未能可靠地捕捉评估项目如何区分不同熟练程度的学生，表现最好的模型仅达到0.241的Spearman相关系数。 AI

影响 大型语言模型目前缺乏细致的理解能力来可靠地评估学生熟练程度的差异，这表明它们在教育评估中的应用存在差距。

排序理由 该集群包含一篇发表在arXiv上的研究论文，详细介绍了大型语言模型在教育评估方面的能力。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Han Chen, Ming Li, Chenguang Wang, Yijun Liang, Dawei Zhou, Hong jiao, Tianyi Zhou ·

    LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment

    arXiv:2606.18709v1 Announce Type: new Abstract: Item discrimination is a fundamental psychometric property of educational assessment, which measures whether an item meaningfully distinguishes students with higher proficiency from students with lower proficiency. While various exi…

  2. arXiv cs.CL TIER_1 English(EN) · Tianyi Zhou ·

    LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment

    Item discrimination is a fundamental psychometric property of educational assessment, which measures whether an item meaningfully distinguishes students with higher proficiency from students with lower proficiency. While various existing works have explored whether large language…

相关实体

相关话题