研究人员推出SMART,一个用于评估自动语音识别(ASR)系统的框架,其评估超越了传统的词错误率。SMART使用上下文评分标准在语义层面评估错误,从而得出语义影响错误率(SIER)。该方法实现了比直接LLM判断更高的F1分数,并且对评估模型的选择相对不敏感。此外,一个由周围ASR假设引导的、目标-参考无关的纠错评分标准,优于没有评分标准的基线,在MER和SIER_lex方面显示出显著的降低。 AI
影响 通过关注语义影响来增强ASR评估,有望带来更准确、更有用的语音识别系统。
排序理由 该集群描述了一篇介绍用于ASR评估的新颖框架和指标的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- MER
- Semantic Impact Error Rate
- Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics
- SIER
- SIER_lex
- SMART
- word error rate
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →