Trajectory Tracing

新基准评估AI代理工具链的可靠性和故障归因

研究人员推出了TraceTrial-Bench，一个旨在评估AI代理工具链可靠性的新基准。工具链对于支持LLM代理的运行至关重要。该基准将工具链的可靠性组织成七个组成部分，并包含95个具有可执行地面真相的专家级任务。一个两层评估框架评估代理性能和工具链可靠性，其中故障归因模块在运行级别精确定位问题。对多个工具链和模型的初步评估显示，工具链得分存在显著差异，并强调了许多成功的任务完成是在工具链标准失败的情况下发生的。