Human-centered assessment

新框架结合人类判断和AI分数以改进评估

研究人员推出了一种名为Aggregate-then-Calibrate (AtC) 的新颖两阶段框架，旨在改进以人为中心的评估任务。该方法结合了异构的人类判断（考虑标注者可靠性）和模型生成的评分。AtC理论上证明，对标注者异构性的建模可以更有效地估计共识，并且其等渗校准即使在共识排名错误指定的情况下也能提供风险界限。实证结果表明，与仅依赖人类或模型输入的评估相比，AtC在准确性和鲁棒性方面始终表现更优。