TSMD-Stream

新的TSMD方法提高了视频精彩片段检测的鲁棒性

研究人员推出了一种名为时间流模态丢弃（TSMD）的新颖方法，旨在增强视频精彩片段检测系统的鲁棒性。TSMD解决了视觉、音频和文本流中数据缺失的挑战，模拟了时间帧丢失和完整流中断的情况。所提出的技术还包含一个联合目标函数，包括逐点MSE、每视频皮尔逊相关性以及面向峰值的RankNet损失，以更好地与评估指标和精彩片段特征保持一致。TSMD的变体，包括时间、流级别和混合丢弃，在MoSu和Mr. HiSum等基准数据集上均显示出显著的改进。