PulseAugur
中
实时 07:06:54
实体 Chen et al., 2021

Chen et al., 2021

PulseAugur coverage of Chen et al., 2021 — every cluster mentioning Chen et al., 2021 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_360105 ·

    AI 代理的可靠性问题:Pass^k 指标揭示一致性差距

    提出了一种名为 pass^k 的新指标,以更好地评估 AI 代理的可靠性,尤其是在面向用户的应用程序中。与衡量单次尝试成功率的 pass@1 不同,pass^k 评估代理在多次相同试验中执行任务的一致性。这对于客户服务等需要高可靠性的重复交互的应用至关重要。例如,GPT-4o 在一项零售任务上的 pass@1 为 61%,但在 pass^8 时降至 25%,这凸显了单次运行成功与真正一致性之间的显著差距。