Myovox

新的Myovox系统可解码面部肌肉运动产生的语音

一篇新研究论文介绍了Myovox，一个能够直接从说话时面部肌肉运动中解码开放词汇英语文本的系统。该系统通过多阶段流程，将词错误率从51.17%大幅提高到18.53%，显著优于先前的方法。该方法包括重现基线设置，采用经过跨模态蒸馏训练的双向Conformer模型，最后通过集成具有微调语言模型的模型进行重排序。研究人员发现，肌电图声学错误率，而非语言模型限制，是进一步提高准确性的主要制约因素。