HP-VSR-ResFiLM

新的VSR方法利用头部姿态提高准确性

研究人员开发了一个名为HP-VSR-ResFiLM的新框架，通过显式地整合头部姿态信息来改进视觉语音识别（VSR）。该方法使用一个姿态条件残差特征线性调制（FiLM）块，根据头部方向调整视觉特征，以应对几何失真和遮挡等挑战。在LRS2和LRS3数据集上的实验显示出具有竞争力的性能，词错误率分别为25.0%和33.2%，证明了在非约束VSR场景下鲁棒性的提高。