Quality-Relevance Heatmap

新的VQA方法使用显式区域表示和视觉语言模型

研究人员开发了一种新的视频质量评估（VQA）方法，该方法显式地表示区域证据，超越了隐式的像素级分析。这种称为质量相关热图（QRH）的方法将局部退化信息与由视觉语言模型引导的感知先验相结合，无需像素级标注。使用QRH结合片段采样策略在DOVER基准上的实验表明，该方法可以密切逼近现有的VQA模型预测，甚至在各种基准上提高性能，表明显式区域表示是VQA的宝贵工具。