audio-video talking head

新的Omni-Fake数据集对社交媒体上的多模态深度伪造检测进行基准测试

研究人员推出了Omni-Fake，这是一个新的基准数据集，旨在改进社交媒体上多模态深度伪造的检测。该数据集包含跨图像、音频、视频和音频-视频说话人脸模态的超过100万个样本，以及一个用于测试泛化能力的分布外基准。Omni-Fake还支持一个用于深度伪造的联合检测、定位和解释的协议，并引入了一个名为Omni-Fake-R1的基于强化学习的检测器，该检测器集成了跨模态线索，以获得更准确和可解释的结果。