Welch ANOVA

研究发现 AI 补丁性能与正确率不同

一篇新发表在 arXiv 上的研究探讨了 AI 生成的代码补丁的性能，发现仅凭正确性不足以评估 LLM 在软件开发中的能力。研究人员将 SWE-bench 基准测试中的现有“FAIL_TO_PASS”测试重新用于衡量运行时性能，分析了 262 个具有多个正确解决方案的案例。研究表明，运行时性能与问题解决率基本无关，在考虑性能时，LLM 的排名发生了显著变化，突显了正确性评估所遗漏的架构回归问题。