实体 WildVSR

WildVSR

PulseAugur coverage of WildVSR — every cluster mentioning WildVSR across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_301312 · Oct 15 · 04:00

新的FLARE框架通过跨模态蒸馏增强唇语识别

研究人员开发了FLARE，一个旨在通过结合跨模态蒸馏和联合面部-唇部建模来提高唇语识别能力的新框架。该方法利用OpenAI的Whisper模型的表示作为教师信号来指导学习过程。FLARE采用双流架构，分析唇部运动和更广泛的面部动态，并在预训练期间结合辅助音频以增强跨模态对齐和视觉表示的鲁棒性。在LRS2、LRS3和WildVSR数据集上进行测试时，FLARE表现强劲，词错误率分别为11.7%、13.2%和34.3%，并显示出对视频分辨…