实体 agent evals

agent evals

PulseAugur coverage of agent evals — every cluster mentioning agent evals across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_357017 · Nov 13 · 23:01

AI Agent 评估需要噪声带来区分真正进展和运气

最近的一项分析强调了评估 AI Agent 时“噪声带”的关键问题，表明许多报告的分数提高可能源于运气而非真正的进展。作者使用了 Paolo Perrone 关于 Terminal-Bench 2.0 的数据来说明评估 Harness 的变化如何导致误导性的分数波动。例如，一次 Harness 更换导致了噪声带内的小分数变化，而一次模型更换则显示出明显的下降，这明显超出了噪声带，表明存在真实的性能差异。