Shih-Yao (Mike) Lin

新的EARS系统通过使用声音和运动来选择帧来改进视频推理

研究人员开发了EARS（Evidence-Aware Retrieval via Sound and Motion），一个旨在通过智能选择帧进行分析来改进视频推理的新颖系统。与均匀帧采样不同，EARS利用音频能量和光流运动来识别和排序包含关键证据的帧。这种方法显著提高了定位精度，在为视觉语言模型（VLM）选择K帧时，实现了0.94的AP，而均匀采样为0.88。然而，EARS的有效性取决于视频内容，在没有运动或音频线索的静默或隐蔽事件上表现不佳。