Cognitive Diagnostic Profiling

LLM框架改进模拟考生数据以进行教育测试校准

研究人员开发了一个名为认知诊断剖析（CDP）的新框架，以利用大型语言模型（LLMs）改进教育测试的心理测量校准。CDP通过提示LLMs模拟具有不同认知特征的合理考生，解决了LLM模拟考生过于准确和统一的问题。该方法使用Tatsuoka数据集进行评估，并在能力分布、掌握情况剖析和项目难度级别上显示出与人类考生在LLM响应上的一致性显著提高。该框架使LLM模拟考生更接近人类行为，使其成为测试开发的实用工具。