一篇新研究论文介绍了一种名为 QuoteBench 的方法，用于评估大型语言模型（LLM）编码代理，区分命令生成错误和执行传输过程中引入的失败。研究强调，标准的匹配执行分数可能会掩盖重大的命令路径失败。QuoteBench 使用跨各种配置的精确最终状态验证，揭示了尽管原始生成能力已接近极限，但适应执行边界对于模型性能至关重要。例如，GPT-5.6 "Sol" 显示匹配差距很小，但在执行传输方面遭受了重大损坏和补偿。 AI
影响 强调了在简单匹配分数之外，对 LLM 代理进行鲁棒评估的必要性，这对于在编码任务中可靠部署至关重要。
排序理由 介绍 LLM 编码代理新评估方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
