Gres

新框架增强多模态理解和定位能力

研究人员推出Generalized CycleGRPO，一个新颖的强化学习框架，旨在增强细粒度多模态理解和定位。这种统一的方法将区域理解与跨越空间、时间、时空等各种领域的定位相结合。该系统为给定区域生成候选描述，然后将这些描述定位以重建输入，使用重建重叠和个体定位作为奖励。该方法在GroundingSuite和GRES等基准测试中表现出显著的改进，并引入了一个新的基准DOVE，用于评估视频中的时间独特性。