一个管道错误导致包括 GPQA 在内的四个 AI 基准测试受到污染。该问题源于 GPQA 评估集在 Hugging Face 上以 'train' 标签发布，导致一个管道根据名称而非预期含义错误地选择了它。这一疏忽已导致这些基准测试的分数被撤回，未来的数据集将 undergo allowlist validation and n-gram screening 以防止再次发生。 AI
影响 基准测试数据集中的错误会扭曲性能评估，可能误导研究和开发工作。
排序理由 该项目讨论了 AI 基准测试数据集和评估管道的问题，这属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
