研究人员开发了一种名为超图正则化格拉姆体积(HyVol)的新型训练时模块,以增强多模态检索系统。该模块通过使用超图连接模态和相关候选对象来整合训练样本之间的语义关系。HyVol 在嵌入而非最终分数上运行,允许在训练后移除而不改变骨干架构或检索成本。在 MSR-VTT 和 VATEX 等基准测试上的实验显示,检索准确性显著提高,尤其是在视频到文本任务上。 AI
影响 这项研究介绍了一种提高多模态检索系统准确性的方法,有望为视频和音频内容带来更好的搜索能力。
排序理由 该集群描述了 arXiv 上的一篇学术论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →