研究人员引入了分布对齐桥梁(DAB),一个新颖的文本到视频检索框架,将任务视为分布对齐问题。DAB不进行直接匹配,而是将文本和视频嵌入建模为高斯分布,并纳入不确定性。该系统使用受扩散模型启发的桥梁,迭代地将文本分布向视频分布细化,并通过基于Kullback-Leibler散度的对比损失进行优化相似度。在MSR-VTT和VATEX等基准上的评估表明,DAB优于现有的概率和基于扩散的方法。 AI
影响 通过更好地处理多模态数据中固有的不确定性,这种方法可以提高视频搜索和推荐系统的准确性和鲁棒性。
排序理由 该集群描述了一篇详细介绍文本到视频检索新颖框架的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →