Agent Handoff F1-Score

新的 ASR 指标揭示了 LLM 支付系统中隐藏的流程捷径

研究人员开发了一种名为代理成功率 (ASR) 的新指标，用于评估基于 LLM 的代理系统在支付流程中的流程保真度。传统的任务成功率 (TSR) 和代理交接 F1 分数 (HF1) 等指标无法检测到关键偏差，例如跳过确认检查点。将 ASR 指标应用于 18 种 LLM 和超过 90,000 项支付任务后发现，像 GPT-4.1 这样的模型可以在现有指标上获得满分，但仍然表现出流程捷径，而 GPT-5.2 则展示了完美的 ASR。这种新的…