研究人员推出了一种新颖的文本到视频检索框架——分布对齐桥(DAB),该框架将任务视为一个分布对齐问题。DAB不采用确定性匹配,而是将文本和视频嵌入建模为高斯分布,明确处理每种模态中的不确定性。该框架使用受扩散启发的桥梁迭代地将文本分布精炼至目标视频分布,并通过基于 Kullback-Leibler 散度的损失函数优化跨模态相似性。在 MSR-VTT 和 VATEX 等基准上的评估表明,DAB 超越了现有的概率和基于扩散的方法,提供了经过校准的不确定性感知排序。 AI
影响 通过更好地处理多模态数据中固有的不确定性,这种方法可能带来更强大、更准确的视频搜索系统。
排序理由 该集群描述了一篇提出新颖文本到视频检索框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →