截至2026年10月31日，Hugging Face SWE-bench Pro排行榜呈现出复杂的景象，包含47行，但底层基准测试有两个不同的版本，V1和V2。V1包含731个任务，而V2于2026年9月22日发布，在89个任务被删除以及许多其他任务被修复或淘汰后，包含642个任务。排行榜上的顶级模型并非一致地使用相同的基准测试版本或工具，这可能导致分数解释的混淆。人们还对任务的完整性、来自公共存储库的潜在数据泄露以及报告中的不一致性提出了担忧。 AI
影响 引发了对编码基准测试可靠性的质疑，可能影响模型性能的评估和比较方式。
排序理由 文章讨论了基准测试版本和评分完整性，而非新的模型发布。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
