研究人员推出了一种新颖的强化学习框架Rita,旨在提高视觉语言模型推理过程与其最终答案之间的一致性。Rita解决了“思维漂移”问题,即模型可能在内部逻辑存在缺陷的情况下得出正确输出。该框架利用了两种新的奖励:思维奖励和一致性奖励,这两种奖励均源自参考答案的条件概率,并结合了难度感知的数据过滤策略。在EgoIntention和RefEgo-Int基准上的实验表明,Rita的性能优于现有的监督微调和标准RL方法。 AI
影响 通过确保视觉语言模型的推理与其输出保持一致,提高了其可靠性,有望在复杂任务中提升性能。
排序理由 该集群包含一篇详细介绍改进AI模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →