CatchBench

新的CatchBench基准评估跨多个状态的AI代理失败检测

研究人员推出了CatchBench，这是一个新颖的基准，旨在评估AI代理检测自身失败的能力。与之前的基准不同，CatchBench在三个不同的信息状态下评估代理：运行前声明的配置、执行期间的实时跟踪以及运行后完成的跟踪。该基准包含七个具有特定指标的任务合同，而不是单一的排行榜，以适应每个状态允许的不同问题。初步评估涉及72个参赛者，包括来自主要模型系列的各种LLM裁判，跨越众多配置和运行，许多参与者未能获得清晰的排名。