实体
OracleBench
OracleBench
PulseAugur coverage of OracleBench — every cluster mentioning OracleBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
FewHumans库提高了大语言模型裁判的可靠性并降低了人工标注成本
一个名为FewHumans的新库已被开发出来,以解决大语言模型裁判在评估AI模型输出时不可靠的问题。这些裁判通常会高估自己的准确性,在大多数测试案例中,仅裁判的置信区间都未能包含真实的人工验证值。FewHumans旨在通过智能地选择人类应标注的数据点、结合人类和LLM的判断,并提供统计上可靠的置信区间来改进这一点,从而在提高准确性的同时减少对广泛人工标注的需求。
-
小型LLM裁判在新评估中显示出高错误率和偏见
最近的一项分析评估了小型开源LLM裁判(特别是Qwen2.5-3B和Qwen2.5-0.5B)在法律条款识别和算术等任务上相对于确定性预言机的表现。研究发现,较小的0.5B模型在算术问题上表现出非常高的误接受率,基本上是同意而非判断。两种模型在法律条款引用方面都遇到了困难,区分度较低。此外,研究强调,仅对合成的损坏进行测试可能会高估其能力,因为自然错误被接受的比例显著更高。在纠正了测试方法中的缺陷(尤其是在成对比较中)之后,3B裁判显…