RefEgo-Int

新的Rita框架提高了视觉语言模型推理的一致性

研究人员推出了一种新颖的强化学习框架Rita，旨在提高视觉语言模型推理过程与其最终答案之间的一致性。Rita解决了“思维漂移”问题，即模型可能在内部逻辑存在缺陷的情况下得出正确输出。该框架利用了两种新的奖励：思维奖励和一致性奖励，这两种奖励均源自参考答案的条件概率，并结合了难度感知的数据过滤策略。在EgoIntention和RefEgo-Int基准上的实验表明，Rita的性能优于现有的监督微调和标准RL方法。