Conformer Models

新的MoPE-LoRA框架改进了带口音英语的语音识别

研究人员开发了一种新的参数高效适配框架，称为基于语音专家混合的低秩适配器（MoPE-LoRA），用于带口音的英语语音识别。与之前为每种口音分配专家的方法不同，MoPE-LoRA围绕语音类别，特别是发音方式类别来组织适配。这种方法允许模型在不需要特定口音模块的情况下扩展到未见的口音。在L2-ARCTIC数据集上的实验表明，MoPE-LoRA的性能显著优于单一LoRA和完全微调，在零样本评估中相对提高了12.3%。