CavaBench

AI语音助手难以识别英式口音，新基准揭示问题

一个新的基准CavaBench已被开发出来，用于评估AI语音助手对各种英式口音的鲁棒性。目前，通常以美式英语为训练对象的系统，在面对苏格兰、爱尔兰和威尔士口音时，会出现显著的词错误率（WER），导致工具调用参数损坏和响应不正确，尤其是在金融应用中。该基准表明，虽然WER与下游任务性能密切相关，但与口音相关的失败在不同模型和条件下可能差异很大，这凸显了设计更具包容性的语音助手的必要性。