Temporal Gradient Magnitude

MoG-VLM：运动引导的视觉语言模型增强视频异常检测

研究人员开发了MoG-VLM，一个用于高效视频异常检测的新型框架，它利用运动来指导视觉语言模型的推理过程。该方法仅在具有显著运动的帧上选择性地激活VLM分析，从而降低计算负载并提高实时部署的可行性。该方法引入了用于内容感知采样的时域梯度幅度（Temporal Gradient Magnitude）和用于聚焦VLM推理的分层双流设计，在三个基准测试中以零样本（zero-shot）设置取得了新的最先进结果。