An Yu

新的SMART框架通过音频和镜头感知压缩增强视频片段检索

研究人员开发了SMART，一种用于视频片段检索的新框架，通过整合音频线索和视觉信息来增强多模态理解。该方法利用了多模态大语言模型（MLLM），并采用了一种新颖的“镜头感知令牌压缩”技术，以选择性地保留每个视频镜头中的重要信息，从而保留细粒度的时间细节。在Charades-STA和QVHighlights等标准基准上的评估证明了SMART的有效性，显示出相比现有最先进方法的显著改进。