研究人员推出了 CatchBench，这是一个旨在评估 AI 代理失败被检测有效性的新基准测试。与之前的基准测试不同，CatchBench 在三个不同的信息状态下评估代理：运行前声明的配置、实时跟踪前缀和完整的运行后跟踪。该基准测试包含七个具有特定指标的任务合同，而不是单一的排行榜，以适应每种状态允许的不同问题。它评估了 72 个参赛者，包括来自九个模型家族的十一个 LLM 裁判，涵盖了众多配置和运行，发现大多数参与者未能建立清晰的排序。 AI
影响 引入了一个新颖的 AI 代理评估框架，有可能提高 AI 系统的可靠性和可审计性。
排序理由 该集群包含一篇详细介绍 AI 代理新基准测试的研究论文。
在 arXiv cs.MA (Multiagent) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.22808v2 Announce Type: replace Abstract: When can an agent failure be caught? An audit is usually limited by the record rather than by the method. CatchBench therefore puts one auditor's question to three information states: the declared configuration before a run (PRE…
When can an agent failure be caught? An audit is usually limited by the record rather than by the method. CatchBench therefore puts one auditor's question to three information states: the declared configuration before a run (PRE), a growing prefix of its trace (LIVE), and the fin…