提出了一种名为 pass^k 的新指标,以更好地评估 AI 代理的可靠性,尤其是在面向用户的应用程序中。与衡量单次尝试成功率的 pass@1 不同,pass^k 评估代理在多次相同试验中执行任务的一致性。这对于客户服务等需要高可靠性的重复交互的应用至关重要。例如,GPT-4o 在一项零售任务上的 pass@1 为 61%,但在 pass^8 时降至 25%,这凸显了单次运行成功与真正一致性之间的显著差距。 AI
影响 强调了 AI 代理需要超越单次运行成功率的一致性指标,这会影响其性能的评估和部署方式。
排序理由 引入了评估 AI 代理可靠性的新指标。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →