实体
LRS2
LRS2
PulseAugur coverage of LRS2 — every cluster mentioning LRS2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
FLARE框架通过跨模态蒸馏和联合面部-唇部建模增强唇语识别能力
研究人员开发了FLARE，一个旨在改进唇语识别视觉语音表示学习的新框架。FLARE利用跨模态蒸馏，以Whisper的音频表示作为教师信号。它采用双流架构，同时处理唇部区域和完整面部，以捕捉详细的发音运动和更广泛的面部动态。该框架在LRS2、LRS3和WildVSR等基准测试中表现出色，实现了较低的词错误率，并显示出对头部姿势和视频分辨率变化的更好鲁棒性。
-
新的WYS框架通过文本条件化增强视频到语音合成
研究人员开发了一个名为Watch Your Speech (WYS) 的新视频到语音合成框架，以解决从无声说话人脸视频生成语音时视觉歧义的挑战。WYS将文本条件化作为显式的语言线索，通过基于注意力的嵌入融合模块将文本上下文与视频序列相结合。在LRS2和LRS3数据集上的实验表明，WYS在视听同步方面取得了最先进的结果，并保持了具有竞争力的文本准确性，生成了接近人类自然度的语音。
-
新的VSR方法利用头部姿态提高准确性
研究人员开发了一个名为HP-VSR-ResFiLM的新框架，通过显式地整合头部姿态信息来改进视觉语音识别（VSR）。该方法使用一个姿态条件残差特征线性调制（FiLM）块，根据头部方向调整视觉特征，以应对几何失真和遮挡等挑战。在LRS2和LRS3数据集上的实验显示出具有竞争力的性能，词错误率分别为25.0%和33.2%，证明了在非约束VSR场景下鲁棒性的提高。