研究人员推出了一种新颖的多模态嵌入框架VaME,该框架利用变分潜在推理。与确定性方法不同,VaME将潜在推理建模为轨迹上的可学习分布,从而在潜在空间中实现自回归探索。通过带有语义解码奖励(SDR)的强化学习来优化此方法,以偏好语义上有意义且可解释的结果。VaME在MMEB-V2基准测试和MRMR等推理密集型任务上表现出色,同时与现有方法相比,推理速度也得到了显著提升。 AI
影响 该新框架通过改进多模态AI系统处理和理解不同数据类型信息的方式,有望带来更高效、更有效的多模态AI系统。
排序理由 该集群包含一篇详细介绍多模态嵌入新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- MMEB-V2
- Mr.Mr.
- Peixi Wu
- ScienceCast
- VaME
- Variational Latent Reasoning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →