Amir H. Rezaeian

新评估方法揭示AI工具使用代理的隐藏可靠性问题

研究人员引入了一种名为前缀可执行性的新评估协议，以更全面地评估使用工具的AI代理。该方法通过检查序列中每个中间工具调用的可执行性，超越了仅仅衡量最终任务成功率。该协议包括前缀可执行性曲线（PEC）和首次错误深度（FED）等指标，揭示了仅为最终成功而优化的代理在其中间步骤中可能表现出较低的可靠性。研究结果表明，显式的预执行计划检查可以在保持具有竞争力的最终结果的同时，提高代理轨迹的可靠性。