Refine-RL

新的RIME框架通过优化生成和检索来增强多模态嵌入。

研究人员推出了一种名为重写驱动的多模态嵌入（RIME）的新框架，旨在增强生成式多模态嵌入。RIME通过一个检索友好的重写过程优化生成和嵌入，从而解决了思维链推理的局限性。该框架还整合了跨模态对齐（CMA）以连接生成式和判别式嵌入空间，并采用精炼强化学习（Refine-RL）使用稳定的语义锚点来指导优化。实验表明，RIME在缩短思考步骤长度的同时，性能优于现有的生成式嵌入模型。