arXiv 2611.08285

研究发现：编码代理的失败预测器误判任务难度

Igor Shavlak及其同事的一篇新论文质疑了当前编码代理失败预测器的有效性。研究人员发现，这些分析代理推理和行动的预测器，常常无法区分任务本身难度大、代理模型较弱，还是特定运行出现错误。他们对公开基准数据的分析表明，预测器主要识别的是任务难度，而不是特定运行的质量，这可能导致采取错误的行动，例如在更适合更换模型或人工干预时进行重试。研究表明，模型路由的感知益处可能更多地来自于让代理获得第二次机会，而不是选择更适合的模型。