研究人员开发了一个名为SPIRN的新框架,以解决跨模态检索(CMR)中的挑战,特别是在处理不同模态间的不完整数据和带噪声标签时。SPIRN利用固定的语义先验作为学习表示、处理带噪声注释和补全缺失模态的稳定参考。该框架包括建立语义空间、区分干净和带噪声样本的质量感知学习、校正注释的全局标签校准以及恢复缺失数据的选择性插补等组件。该方法被认为是首个在CMR中联合解决模态不完整性和标签噪声问题的方法,在基准数据集上的性能优于现有方法。 AI
影响 这项研究可以提高需要理解和关联不同来源信息的人工智能系统的准确性和鲁棒性,即使在数据不完美的情况下也是如此。
排序理由 该集群包含一篇学术论文,详细介绍了计算机视觉中特定研究问题的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Confidence-driven Selective Imputation
- Cross-modal retrieval
- Hugging Face
- Prior-guided Global Label Calibration
- Quality-aware Robust Learning
- Semantic Priors Guidance
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →