Yue Zhao

CatchBench 基准测试跨越三种状态评估 AI 代理失败检测 · 跟踪 2 个来源

研究人员推出了 CatchBench，这是一个旨在评估 AI 代理失败被检测有效性的新基准测试。与之前的基准测试不同，CatchBench 在三个不同的信息状态下评估代理：运行前声明的配置、实时跟踪前缀和完整的运行后跟踪。该基准测试包含七个具有特定指标的任务合同，而不是单一的排行榜，以适应每种状态允许的不同问题。它评估了 72 个参赛者，包括来自九个模型家族的十一个 LLM 裁判，涵盖了众多配置和运行，发现大多数参与者未能建立清晰的排序。