arXiv 2610.24206

SWE-bench Pro排行榜混合了V1和V2任务，引发分数完整性质疑

截至2026年10月31日，Hugging Face SWE-bench Pro排行榜呈现出复杂的景象，包含47行，但底层基准测试有两个不同的版本，V1和V2。V1包含731个任务，而V2于2026年9月22日发布，在89个任务被删除以及许多其他任务被修复或淘汰后，包含642个任务。排行榜上的顶级模型并非一致地使用相同的基准测试版本或工具，这可能导致分数解释的混淆。人们还对任务的完整性、来自公共存储库的潜在数据泄露以及报告中的不一致性提出了担忧。