TAT-MOE

新型T-SANDHI模型提升台湾闽南语语音识别

研究人员开发了T-SANDHI，一种用于改善低资源台湾闽南语自动语音识别的新方法。与先前认为声调变化是主要挑战的假设不同，该新方法将声调变化与词汇意图之间的局部混淆确定为主要的性能瓶颈。T-SANDHI通过在冻结的Whisper模型上将表面声学与底层词汇意图分离，并使用具有动态门控的混合注入模块来整合语音流。在TAT-MOE语料库上的评估表明，该方法显著提高了准确性和参数效率。