研究人员引入了一个名为通用推理视频分割(GRVS)的新任务,以解决流式视频中对象识别的动态性。与假设固定目标对象的先前方法不同,GRVS考虑了基于随时间累积的事件和查询相关性而演变的目标集。为了评估GRVS,开发了一个名为Isekai的基准,包含60个视频和197个查询。提出的Sekai框架利用事件记忆推理器来管理演变的目标状态,并利用记忆支撑解码器来定位当前帧中的有效目标,与现有的在线RVS方法相比,性能提高了3.2个百分点。 AI
影响 通过使模型能够适应实时流中不断变化的物体相关性,从而推进了视频分割能力。
排序理由 该集群描述了一篇介绍视频分割新任务和框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Event Memory Reasoner
- Generalized Reasoning Video Segmentation
- Hugging Face
- Isekai
- Memory-Grounded Decoder
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →