English(EN) OpenAI just found ~30% of SWE-Bench Pro is broken — and retracted their own recommendation

OpenAI 因 30% 的任务失败率撤回 SWE-Bench Pro 推荐

作者 PulseAugur 编辑部 · [2 个来源] · 2026-07-08 23:24

OpenAI 撤回了对 SWE-Bench Pro 的推荐，这是一个旨在评估 AI 编码代理的基准。OpenAI 的研究团队进行的一项内部审计发现，由于测试过于严格、提示信息不明确以及任务设计误导等问题，该基准约有 30% 的任务存在缺陷。研究人员利用 AI 代理进行了此次审计，这凸显了一个新的元层面，即使用 AI 模型来评估自身的进展。这一发现强调了在 AI 编码评估领域面临的更广泛挑战，因为之前的基准也曾出现过类似的质量问题。 AI

影响凸显了准确评估 AI 编码能力方面持续存在的挑战，可能减缓代理开发方面的进展。

排序理由该集群讨论的是 AI 评估基准的问题，而不是新的模型发布或核心研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

dev.to — LLM tag TIER_1 English(EN) · Andrew Kew · 2026-07-10 13:06

OpenAI just found ~30% of SWE-Bench Pro is broken — and retracted their own recommendation

OpenAI pulled the plug on SWE-bench Verified earlier this year after finding contamination and design issues. Their replacement recommendation: SWE-Bench Pro. That one just failed its own audit. In a new writeup, OpenAI's research team reports that roughly 30% of SWE-Be…
r/singularity TIER_2 English(EN) · /u/FateOfMuffins · 2026-07-08 23:24

OpenAI finds ~30% of tasks in SWE Bench Pro are broken

 submitted by <a href="https://www.reddit.com/user/FateOfMuffins"> /u/FateOfMuffins </a> <a href="https://openai.com/index/separating-signal-from-noise-coding-evaluations/">[link]</a> <a href="https://www.reddit.com/r/singularity/comment…

报道来源 [2]

OpenAI just found ~30% of SWE-Bench Pro is broken — and retracted their own recommendation

OpenAI finds ~30% of tasks in SWE Bench Pro are broken

相关实体

相关话题