OmniVTG

OmniVTG数据集和CoT范式增强了开放世界视频时序定位

研究人员推出了OmniVTG，这是一个大规模数据集和训练范式，旨在改进多模态大语言模型（MLLMs）的开放世界视频时序定位（VTG）。该数据集采用新颖的流程来识别和收集包含代表性不足概念的视频，并采用以字幕为中心的策略进行高质量标注。此外，还提出了一种自校正思维链（CoT）训练方法，该方法利用MLLMs的理解能力来优化预测，在现有基准和新的OmniVTG数据集上均取得了最先进的性能。