新框架利用图推理纠正跨模态数据中的噪声

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-04 04:00

研究人员开发了一个名为 Intra-modal Neighbor-aware Noise Rectification (IN2R) 的新框架，通过解决大规模网络抓取数据中的噪声问题来提高跨模态检索的准确性。与以往过滤或替换噪声标签的方法不同，IN2R 利用模态内数据的几何稳定性来合成可靠的监督目标。该框架使用图精炼器 (Graph Refiner) 和跨模型记忆 (Cross-Model Memory) 来推理邻居并创建一个反映局部语义共识的连续、软原型，从而纠正模态间的错位。在 Flickr30K 和 MS-COCO 等基准数据集上的实验表明，IN2R 的性能显著优于现有的最先进方法。 AI

影响提高了跨模态 AI 任务的数据质量，可能增强检索模型的泛化能力。

排序理由学术论文，详细介绍了一种改进跨模态检索的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Yang Liu, Wentao Feng, Shu-Dong Huang, Yalan Ye, Jiancheng Lv · 2026-06-04 04:00

Intra-Modal Neighbors Never Lie: Rectifying Inter-Modal Noisy Correspondence via Graph-Based Intra-Modal Reasoning

arXiv:2606.04061v1 Announce Type: new Abstract: Large-scale web-harvested datasets have fueled the progress of cross-modal retrieval but inevitably suffer from noisy correspondence, which severely degrades model generalization. Existing methods primarily address this by filtering…

报道来源 [1]

Intra-Modal Neighbors Never Lie: Rectifying Inter-Modal Noisy Correspondence via Graph-Based Intra-Modal Reasoning

相关实体

相关话题