研究人员推出 ReferFlow,这是一种新颖的方法,旨在改进多模态大语言模型在计算机视觉任务中处理复杂指代表达式的方式。与以往只关注最终目标的方法不同,ReferFlow 通过评估模型在连续地面化步骤中定位中间视觉引用的能力来解决轨迹级别的指代表达式理解问题。随附的 ReferFlow-Bench 基准测试旨在测试此能力,揭示当前模型在一致的中间地面化方面存在困难。ReferFlow 将轨迹生成与坐标解码分离,采用状态化区域潜在推理和轨迹感知并行解码来保留区域信息并有效细化坐标。 AI
影响 增强了多模态大语言模型在复杂视觉地面化任务中的能力,可能改进它们对顺序指令的理解。
排序理由 这是一篇详细介绍计算机视觉中指代表达式理解新方法和基准的 연구 논문。 [lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Grounding-Aware GRPO
- Hugging Face
- ReferFlow
- ReferFlow-Bench
- Stateful Region Latent Reasoning
- Trajectory-Aware Parallel Decoding
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →