SceneGraphVLM

SceneGraphVLM 高效地从视频生成动态场景图

研究人员开发了 SceneGraphVLM，一种使用紧凑型视觉语言模型从视频生成动态场景图的新颖方法。该方法将图序列化为高效的 TOON 格式，并采用两阶段训练过程，包括具有专门奖励的强化学习，以提高精度并减少不相关对象。SceneGraphVLM 提供了出色的质量-速度权衡，通过 vLLM 加速实现近乎实时性能，并为视频分析提供轻量级的时间上下文。