LRS3-2mix

Tap2Listen模型可在音视频提取中实现即时说话人切换

研究人员开发了Tap2Listen，这是一种新颖的流式音视频目标说话人提取模型，能够即时切换焦点到不同的说话人。该系统克服了先前模型固定于单一说话人的局限性，实现了对对话动态的实时适应。该模型通过按模态分离计算来实现这一点，其中音频编码器处理混合信号，而选定面部的视觉线索则对解码器进行条件化。在LRS3-2mix数据集上的评估显示，在目标切换后，SI-SNRi得到改善，并能立即输出全质量结果，该模型在单个CPU核心上运行效率很高。