Event Memory Reasoner

新的GRVS任务和Sekai框架通过动态事件记忆推进视频分割

研究人员引入了一个名为通用推理视频分割（GRVS）的新任务，以解决流式视频中对象识别的动态性。与假设固定目标对象的先前方法不同，GRVS考虑了基于随时间累积的事件和查询相关性而演变的目标集。为了评估GRVS，开发了一个名为Isekai的基准，包含60个视频和197个查询。提出的Sekai框架利用事件记忆推理器来管理演变的目标状态，并利用记忆支撑解码器来定位当前帧中的有效目标，与现有的在线RVS方法相比，性能提高了3.2个百分点。