QuoteBench

新研究揭示大型语言模型编码代理隐藏命令失败

一篇新研究论文介绍了一种名为 QuoteBench 的方法，用于评估大型语言模型（LLM）编码代理，区分命令生成错误和执行传输过程中引入的失败。研究强调，标准的匹配执行分数可能会掩盖重大的命令路径失败。QuoteBench 使用跨各种配置的精确最终状态验证，揭示了尽管原始生成能力已接近极限，但适应执行边界对于模型性能至关重要。例如，GPT-5.6 "Sol" 显示匹配差距很小，但在执行传输方面遭受了重大损坏和补偿。