研究人员推出CycleGRPO,一个新颖的强化学习框架,旨在统一多模态大语言模型(MLLMs)的区域理解与定位。该框架在一个自我评估范式下运行,其中MLLM既充当生成区域标题的Actor,又充当将这些标题重新映射回空间域的Critic。CycleGRPO仅使用区域输入和质量感知的循环一致性奖励,绕过了对文本真实值(ground truth)的需求,并在各种基准测试中展示了性能提升,且无需针对特定任务进行微调。 AI
影响 该框架有望提升MLLMs的像素级能力,可能提高它们在区域标题生成和指代分割等任务中的性能。
排序理由 该集群描述了一篇详细介绍多模态大语言模型新框架的研究论文。
- Actor as Its Own Critic
- Cycle Group Relative Policy Optimization
- CycleGRPO
- MLLMs
- Multimodal Large Language Models
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →