Vame

VaME框架引入变分潜在推理用于多模态嵌入

研究人员推出了一种新颖的多模态嵌入框架VaME，该框架利用变分潜在推理。与确定性方法不同，VaME将潜在推理建模为轨迹上的可学习分布，从而在潜在空间中实现自回归探索。通过带有语义解码奖励（SDR）的强化学习来优化此方法，以偏好语义上有意义且可解释的结果。VaME在MMEB-V2基准测试和MRMR等推理密集型任务上表现出色，同时与现有方法相比，推理速度也得到了显著提升。