Hugging Face 的一篇新论文强调了多语言基准评分中的一个重大问题,表明参考数据的选择会极大地改变基准结果。研究人员发现,通过简单地更换参考标签,基准分数在总体上可以改变高达 4.95 个 F1 分数点,在特定语言中可以改变 7.55 个分数点。这种敏感性归因于一个未公开的聚合默认设置,该设置无意中使已发布的黄金标准成为被评分系统输出的部分副本。该论文建议在基准分数旁边报告一个“参考敏感性范围”,以提供更全面的性能图景。 AI
影响 强调了当前 AI 基准评估中潜在的不可靠性,并敦促采用更稳健的报告标准。
排序理由 学术论文,详细介绍了一种评估基准敏感性的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →