$C^3$ASD

$C^3$ASD框架通过多层次一致性增强活动说话人检测

研究人员推出了一种名为$C^3$ASD的新型框架，旨在提高视频中活动说话人检测的性能，尤其是在具有挑战性的真实世界条件下。该方法结合了多层次一致性约束，以确保跨音频和视觉模态的鲁棒且对齐的表示。该框架通过知识蒸馏包含嵌入层级的跨模态一致性、序列层级的模态内一致性以及预测层级的一致性。实验表明，$C^3$ASD在面对各种音频、视觉和联合损坏时显著提高了性能，同时在干净数据上仍具有竞争力。