PulseAugur
实时 07:23:58

LLM框架改进模拟考生数据以进行教育测试校准

研究人员开发了一个名为认知诊断剖析(CDP)的新框架,以利用大型语言模型(LLMs)改进教育测试的心理测量校准。CDP通过提示LLMs模拟具有不同认知特征的合理考生,解决了LLM模拟考生过于准确和统一的问题。该方法使用Tatsuoka数据集进行评估,并在能力分布、掌握情况剖析和项目难度级别上显示出与人类考生在LLM响应上的一致性显著提高。该框架使LLM模拟考生更接近人类行为,使其成为测试开发的实用工具。 AI

影响 通过利用LLMs进行考生模拟,能够更具成本效益和可扩展性地开发教育评估。

排序理由 该集群包含一篇学术论文,详细介绍了使用LLMs进行心理测量校准的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM框架改进模拟考生数据以进行教育测试校准

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Wenjie Zhou, Yunting Liu, Renjiao Tang, Mark Wilson ·

    语言模型模拟与人类考生对齐以进行心理测量校准:一种认知诊断画像方法

    arXiv:2607.26317v1 Announce Type: cross Abstract: Psychometric calibration for educational tests typically requires costly human response data. Large language models (LLMs) simulated examinees offer a promising route to early calibration, but their responses are too accurate and …