PulseAugur
实时 11:19:38
English(EN) Cross-Modal Masking for Robust Silent Speech Synthesis Using sEMG and Lipreading

无声语音合成结合表面肌电图和唇语识别,并使用掩码技术

研究人员开发了一个新的无声语音合成框架,该框架结合了表面肌电图(sEMG)和唇语数据。这种方法在训练过程中使用模态掩码,以提高对传感器故障或信号退化的鲁棒性。与单一模态方法相比,掩码多模态系统显著降低了词错误率,尤其是在元音和某些辅音组方面,证明了其在辅助技术方面的有效性。 AI

影响 这项研究通过提高无声语音合成系统的鲁棒性和准确性,推动了辅助技术的发展。

排序理由 该集群包含一篇学术论文,详细介绍了无声语音合成的新技术方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Inma Hernáez ·

    使用sEMG和唇读进行鲁棒性静默语音合成的跨模态掩码

    Speech restoration through silent speech interfaces (SSIs) has emerged as a promising assistive technology for individuals with impaired or absent laryngeal voice production. Among non-invasive SSI modalities, surface electromyography (sEMG) and video-based lipreading provide com…