DAVE-Corpus

新的DAVE框架通过解耦的视听方法增强语音分离

研究人员推出DAVE，一个旨在通过解耦音频和视觉增强过程来改善真实世界语音分离的新框架。为克服数据稀缺问题，他们创建了DAVE-Corpus，一个包含超过200,000个语音混合的大规模数据集。DAVE采用多目标优化策略来增强分离、清晰度、说话人身份和感知质量，同时认证的选择性增强链确保了基于参考的指标不降级。该框架在真实世界视听语音增强挑战赛的实验中表现出鲁棒性，尤其是在视觉条件下降的情况下。