Open Vocabulary silent-speech dataset

新的PhonoBridge系统从肌电信号重建无声语音

研究人员开发了PhonoBridge，一个用于将肌电信号（EMG）重建为文本的无声语音的新型两阶段框架。该系统利用了一个通道感知的EMG到音素前端和一个大型语言模型（LLM）后端。通过使用音素作为中间表示，PhonoBridge通过将现有的文本转录转换为音素-文本对来扩展其训练数据，并采用错误剖面引导增强技术来提高LLM对前端噪声的鲁棒性。该方法在开放词汇量无声语音数据集上实现了24.77%的词错误率（WER），超过了之前的基准。