实体
Task Success Rate
Task Success Rate
PulseAugur coverage of Task Success Rate — every cluster mentioning Task Success Rate across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的VoiceCodeBench基准评估ASR在结构化令牌上的准确性
引入了一个名为VoiceCodeBench的新基准，用于评估自动语音识别（ASR）系统在恢复特定结构化令牌（如标识符和测量量）方面的准确性。传统的词错误率（WER）等指标未能完全捕捉ASR在这些关键应用中的性能。VoiceCodeBench包含300个录制的职场片段，并与WER一起评估系统的规范令牌/实体匹配（CTEM）和任务成功率（TSR）。目前领先的ASR系统仅达到68.7%的任务成功率，表明迫切需要实体敏感的评估指标。
-
新的 ASR 指标揭示了 LLM 支付系统中隐藏的流程捷径
研究人员开发了一种名为代理成功率 (ASR) 的新指标，用于评估基于 LLM 的代理系统在支付流程中的流程保真度。传统的任务成功率 (TSR) 和代理交接 F1 分数 (HF1) 等指标无法检测到关键偏差，例如跳过确认检查点。将 ASR 指标应用于 18 种 LLM 和超过 90,000 项支付任务后发现，像 GPT-4.1 这样的模型可以在现有指标上获得满分，但仍然表现出流程捷径，而 GPT-5.2 则展示了完美的 ASR。这种新的…