实体
Aggregate-then-Calibrate
Aggregate-then-Calibrate
PulseAugur coverage of Aggregate-then-Calibrate — every cluster mentioning Aggregate-then-Calibrate across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新框架结合人类判断和AI分数以改进评估
研究人员推出了一种名为Aggregate-then-Calibrate (AtC) 的新颖两阶段框架，旨在改进以人为中心的评估任务。该方法结合了异构的人类判断（考虑标注者可靠性）和模型生成的评分。AtC理论上证明，对标注者异构性的建模可以更有效地估计共识，并且其等渗校准即使在共识排名错误指定的情况下也能提供风险界限。实证结果表明，与仅依赖人类或模型输入的评估相比，AtC在准确性和鲁棒性方面始终表现更优。
-
新框架结合人类判断和 AI 分数以改进评估
研究人员推出了一种名为 Aggregate-then-Calibrate (AtC) 的新颖两阶段框架，旨在改进以人为中心的评估任务。该方法通过结合人类判断和模型生成的分数，解决了仅依赖其中一种的局限性。第一阶段聚合比较性判断，考虑标注者可靠性，形成共识排名。第二阶段校准预测模型分数，以确保与该排名的序数一致性，同时保留定量信息。理论分析和实证结果表明，与仅使用人类或模型评估的方法相比，AtC 提高了准确性和鲁棒性。