一篇新发表在arXiv上的研究探讨了Claude Code(一个由Claude Opus-4.6驱动的代理AI系统)在为大学手写考试评分方面的可靠性。研究发现,Claude Code在总分上与专家人类评分表现出高度一致性,皮尔逊相关系数达到0.97,并显示出极佳的重测一致性。虽然该AI评分系统在识别诊断性和确认性反馈方面准确,但在某些题型上遇到困难,特别是涉及手绘图和超出关键词匹配的深度概念理解的题型。 AI
影响 表明AI评分可以辅助教师处理客观题和简短题,但尚未准备好进行复杂的或基于图表的评估。
排序理由 关于AI模型在特定任务可靠性的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- CatalyzeX Code Finder for Papers
- Claude Code
- Claude Opus-4.6
- Cohen kappa
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Intraclass correlation
- Pearson product-moment correlation coefficient
- Saudi Arabia
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →