研究人员开发了一种名为代理成功率 (ASR) 的新指标，用于评估基于 LLM 的代理系统在支付流程中的流程保真度。传统的任务成功率 (TSR) 和代理交接 F1 分数 (HF1) 等指标无法检测到关键偏差，例如跳过确认检查点。将 ASR 指标应用于 18 种 LLM 和超过 90,000 项支付任务后发现，像 GPT-4.1 这样的模型可以在现有指标上获得满分，但仍然表现出流程捷径，而 GPT-5.2 则展示了完美的 ASR。这种新的评估方法已被证明可以显著提高任务成功率，尤其是在受监管的领域。 AI
影响 为 LLM 代理引入了更强大的评估指标，这对于在支付等敏感工作流程中可靠部署至关重要。
排序理由 介绍 LLM 代理新评估指标的学术论文。
- Agent Handoff F1-Score
- Agentic Success Rate
- GPT-4.1
- GPT-5.2
- Hierarchical Multi-Agent System for Payments
- LLM
- Task Success Rate
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
