Canonical Token/Entity Match

新的VoiceCodeBench基准评估ASR在结构化令牌上的准确性

引入了一个名为VoiceCodeBench的新基准，用于评估自动语音识别（ASR）系统在恢复特定结构化令牌（如标识符和测量量）方面的准确性。传统的词错误率（WER）等指标未能完全捕捉ASR在这些关键应用中的性能。VoiceCodeBench包含300个录制的职场片段，并与WER一起评估系统的规范令牌/实体匹配（CTEM）和任务成功率（TSR）。目前领先的ASR系统仅达到68.7%的任务成功率，表明迫切需要实体敏感的评估指标。