Vessi

新的视觉语言模型框架VESSI增强了执法部门的视频监控分析能力

研究人员开发了VESSI，一个利用视觉语言模型（VLMs）来增强执法部门自动化视频监控分析能力的框架。VESSI允许用户通过提示来查询视频序列，将视觉元素转换为文本描述。该框架在分析能力和灵活性方面表现出显著的改进，其中一个模型将审查时间缩短了85%以上，并在超过66%的视频中正确识别了潜在的相关活动。还引入了一个新的指标——复合模型效用评分（CMUS），用于评估视觉语言模型在未标记数据集上的性能，该指标与手动评估结果高度一致。