PulseAugur
中
实时 19:05:10
实体 OracleBench

OracleBench

PulseAugur coverage of OracleBench — every cluster mentioning OracleBench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_285725 ·

    小型LLM裁判在新评估中显示出高错误率和偏见

    最近的一项分析评估了小型开源LLM裁判(特别是Qwen2.5-3B和Qwen2.5-0.5B)在法律条款识别和算术等任务上相对于确定性预言机的表现。研究发现,较小的0.5B模型在算术问题上表现出非常高的误接受率,基本上是同意而非判断。两种模型在法律条款引用方面都遇到了困难,区分度较低。此外,研究强调,仅对合成的损坏进行测试可能会高估其能力,因为自然错误被接受的比例显著更高。在纠正了测试方法中的缺陷(尤其是在成对比较中)之后,3B裁判显…