computerized adaptive testing
PulseAugur coverage of computerized adaptive testing — every cluster mentioning computerized adaptive testing across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的自适应LLM评估方法使用更少的项目和连续分数
研究人员开发了一种新的评估大型语言模型（LLM）的方法，该方法将计算机化自适应测试（CAT）的原理应用于连续评分指标。这种方法在最近的一篇arXiv论文中有所详细介绍，它用异方差正态分布取代了传统的伯努利分布，以处理ROUGE、BLEU和LLM-as-a-Judge等分数。所提出的具有自适应停止标准的、考虑不确定性的排名器旨在以显著更少的项目和更低的成本实现可靠的模型排名，在一次校准后，在自信预测上保持99%的准确率，同时在排名相关性…
-
大语言模型框架增强大规模评估的相似性分析
研究人员开发了一个名为AISA的新框架，该框架利用大语言模型（LLMs）来分析大规模评估中的附带内容相似性。这种双维度方法通过结构化分解和语义相关性来实现相似性操作，旨在解决BLEU和余弦相似性等传统指标在捕捉细微冗余方面的局限性。心理测量学验证表明，AISA的大语言模型衍生指标与非构建相关的局部依赖性更吻合，并改善了项目参数分组。该框架在计算机自适应测试（CAT）模拟中的应用表明，与传统方法相比，其估计稳定性得到增强，项目选择偏差减小。
-
新AI框架增强编码问题的自适应测试
研究人员开发了CodeGENCAT，一个用于编程教育中计算机化自适应测试（CAT）的新颖框架。与专注于预测正确答案的传统CAT系统不同，CodeGENCAT利用生成式AI分析学生预测的代码响应，提取关于他们知识的更丰富信息。在真实数据集上的实验表明，CodeGENCAT在早期测试阶段的性能显著优于现有的CAT基线。