Sier

新的SMART框架改进了ASR语义评估和纠错

研究人员推出SMART，一个用于评估自动语音识别（ASR）系统的框架，其评估超越了传统的词错误率。SMART使用上下文评分标准在语义层面评估错误，从而得出语义影响错误率（SIER）。该方法实现了比直接LLM判断更高的F1分数，并且对评估模型的选择相对不敏感。此外，一个由周围ASR假设引导的、目标-参考无关的纠错评分标准，优于没有评分标准的基线，在MER和SIER_lex方面显示出显著的降低。