$C^3$ASD框架通过多层次一致性增强活动说话人检测

研究人员推出了一种名为$C^3$ASD的新型框架，旨在提高视频中活动说话人检测的性能，尤其是在具有挑战性的真实世界条件下。该方法结合了多层次一致性约束，以确保跨音频和视觉模态的鲁棒且对齐的表示。该框架通过知识蒸馏包含嵌入层级的跨模态一致性、序列层级的模态内一致性以及预测层级的一致性。实验表明，$C^3$ASD在面对各种音频、视觉和联合损坏时显著提高了性能，同时在干净数据上仍具有竞争力。 AI

影响 提高了说话人检测系统在真实、嘈杂条件下的鲁棒性。

排序理由 该集群描述了一篇提交至arXiv的新研究论文，详细介绍了一种用于活动说话人检测的新型框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• $C^3$ASD
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →