对新的DeepSWE基准的审计揭示了其执行和可靠性方面存在重大问题。该基准旨在评估AI模型，但似乎仓促推出，导致结果存在缺陷且质量评估可疑。这些发现表明，在能够可靠地衡量模型性能之前，该基准需要进行大量修订。 AI
影响 凸显了AI基准测试潜在的不可靠性，影响模型评估和开发。
排序理由 对基准的审计揭示了其方法论和执行方面的缺陷。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>While this post on the DeepSWE Benchmark github is mainly focused on DeepSeek failing in many places where it shouldn't, it shows many problems with how the benchmark was conducted. It seems that the benchmark was rushed out the door and still ne…