OpsWorld

新的ReplayRCA基准测试衡量AI代理故障诊断和修复能力

一个名为ReplayRCA的新基准已被开发出来，用于评估AI代理在多步任务中诊断和纠正自身故障的能力。该基准通过评估干预是否能导致任务成功完成来衡量“因果修复”。在测试中，Grok 4.7在前沿模型中表现最佳，但排名前八的模型表现相似，主要供应商的旗舰模型排名较低。值得注意的是，事后诊断性能并不能可靠地预测实时监督场景下的成功，正如GPT-6.1 Sol在实时监督方面的表现不如其事后能力所证明的那样。