English(EN) OpenAI finds roughly 30 percent of popular AI coding test is broken

OpenAI发现30%的流行AI编码基准测试存在问题

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-09 13:23

OpenAI已发现用于评估AI编码能力的流行基准SWE-Bench Pro存在重大问题。该公司发现基准测试中的大约30%的任务存在缺陷，导致OpenAI撤回了其先前对该测试的认可。这一发现引发了对当前AI编码评估可靠性的质疑。 AI

影响引发了对当前AI编码基准可靠性以及过往性能评估有效性的担忧。

排序理由 OpenAI对广泛使用的AI基准测试的内部审查发现了重大缺陷。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

The Decoder TIER_1 English(EN) · Maximilian Schreiner · 2026-07-09 13:23

OpenAI finds roughly 30 percent of popular AI coding test is broken

<p><img alt="" class="attachment-full size-full wp-post-image" height="768" src="https://the-decoder.com/wp-content/uploads/2026/07/openai_logo_vis-1.png" style="height: auto; margin-bottom: 10px;" width="1376" /></p> <p> OpenAI reviewed SWE-Bench Pro, a widely used test for meas…