Seeing Before Synthesizing

新框架通过VLM引导的过渡发现改进视频字幕生成

研究人员开发了一个名为Seeing Before Synthesizing (SBS)的新框架，以改进弱监督密集视频字幕生成。该方法使用视觉语言模型（VLMs）为事件之间的视频片段生成帧级叙述，并根据语义变化识别过渡。然后，该框架通过融合时间中点和语义变化点来优化视觉语言对齐，从而精炼这些过渡的时间掩码。在ActivityNet Captions和YouCook2数据集上的实验表明，SBS在视频事件定位和字幕生成方面均达到了最先进的性能。