对 Hugging Face "人类终极考试" (HLE) 排行榜的最新分析显示,大多数表现最佳的模型都在使用外部工具,而排行榜并未明确追踪这一因素。在前 24 行中,有 21 行明确表示使用了工具,另外三行未标记的行也根据其模型卡确认使用了工具。使用工具可显著提高分数,增加 7.8 至 15.1 分,与测试固有的噪声相比,这是一个巨大的优势。第一个明确报告 "未使用工具" 分数的模型排名第 25 位,这凸显了工具增强对性能的影响。 AI
影响 凸显了使用工具增强的大型语言模型的显著性能优势,表明当前的基准测试可能无法准确反映闭卷能力。
排序理由 对基准排行榜及其方法的分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →