GIVE-KWS

新的 GIVE-KWS 系统使用视觉语音来提高噪声鲁棒的关键词识别

研究人员开发了 GIVE-KWS，一个利用视觉语音线索来提高噪声鲁棒性的关键词识别新系统。通过引入门控交叉注意力机制，GIVE-KWS 将查询音频与唇部运动相结合，展示了显著的性能提升。与基准系统相比，该系统在 -10 dB 信噪比下实现了 72.9% 的未见关键词错误率降低，突显了视觉表示中的音素信息对于有效噪声鲁棒性的重要性。