一篇新发表在 arXiv 上的研究探讨了 AI 生成的代码补丁的性能，发现仅凭正确性不足以评估 LLM 在软件开发中的能力。研究人员将 SWE-bench 基准测试中的现有“FAIL_TO_PASS”测试重新用于衡量运行时性能，分析了 262 个具有多个正确解决方案的案例。研究表明，运行时性能与问题解决率基本无关，在考虑性能时，LLM 的排名发生了显著变化，突显了正确性评估所遗漏的架构回归问题。 AI
影响 强调了在软件开发中，AI 的评估指标需要超越简单的正确性，进行更全面的考量。
排序理由 研究论文，分析 AI 模型在软件开发任务上的性能。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
