对 Terminal-Bench 4.0.0 基准测试的两次独立审计都揭示了重大缺陷，尽管其调查结果在范围和方法上有所不同。Epoch AI 报告称，在 66 个任务中有 30 个存在记录在案的评分缺陷，包括奖励攻击和答案泄露等问题。相比之下，Preference Model 在将其移植到自己的框架后审计了 65 个任务，发现有 41 个实例的评分器强制执行了未声明的规则，导致诚实的工作失败。两次审计都表明，基准测试中约有一半的任务存在评分问题，这凸显了基准测试设计如何影响模型性能报告。 AI
影响 凸显了人工智能基准测试设计和评分中的关键问题，表明由于评分器漏洞，报告的模型性能可能被夸大。
排序理由 该集群讨论了对一个人工智能基准测试的两次独立审计的发现，详细说明了其缺陷以及用于识别这些缺陷的不同方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
