一项新研究将交互式调试器与传统的编辑-执行-观察循环在 AI 编码代理上的有效性进行了比较。研究人员使用一种名为 pass$_X$@$k$ 的新指标，在 SWE-bench 基准测试上评估了两个模型 GPT-OSS-120B 和 Nemotron-3-Ultra-550B。研究结果表明，尽管交互式调试器可以实时访问运行时状态，但两次使用 bash 命令的独立运行的性能优于一次 bash 和一次调试器组合的运行。该研究强调了在评估 AI 开发中的代理和工具多样性时，需要考虑随机方差。 AI
影响 强调了在评估 AI 代理工具时考虑随机方差的重要性，并表明对于当前的 AI 编码代理而言，基于 bash 的调试可能比交互式调试器更有效。
排序理由 研究论文，详细介绍了 AI 编码代理的新指标和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
