QualitySensor

新的DoubleHelix框架改进了视听语音识别

研究人员推出了一种新颖的视听语音识别（AVSR）框架DoubleHelix，它增强了音频和视觉数据的融合。与将跨模态交互视为单一步骤的先前方法不同，DoubleHelix采用迭代过程，具有自适应、抗退化增强功能。该方法包括多轮结构化交互、学习对齐约束和一致性引导特征增强等组件。在LRS3数据集上的实验表明，DoubleHelix在干净音频上实现了0.68%的词错误率（WER），显著优于现有方法，并在嘈杂条件下表现出增强的鲁棒性。