新框架评估人工智能驱动的作文评分的可靠性

研究人员引入了一个新的条件泛化框架来评估自动化作文评分系统的可靠性。该框架将编码器架构和评分头家族视为可接受的测量条件集合，超越了简单的聚合可靠性估计。通过根据熵定义的响应层级来条件化证据，研究表明，虽然总体可靠性保持较高水平（Phi 约 0.76），但在不同的层级上会适度下降，这表明基于响应复杂性的决策研究有不同的要求。 AI

影响 引入了一个新颖的框架，用于在特定背景下评估人工智能系统的可靠性，有可能提高自动化评分的可靠性。

排序理由 这是一篇详细介绍评估人工智能系统新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• Automated essay scoring
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• D-study
• Gotit.pub
• G-study
• Hugging Face
• Phi Llm
• ScienceCast
• second language composition

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →