AVSCap

新的AVSCap框架通过视听协同增强视频字幕生成

研究人员推出AVSCap，一个旨在通过关注音频和视觉元素之间的协同关系来改进全模态视频字幕生成的新框架。与先前将音频和视觉流分开处理的模型不同，AVSCap明确地绑定了跨模态事件。该框架包括一个新的训练语料库AVSCap-130K和一个7B参数的字幕生成器AVSCap-7B，后者采用了包括监督微调和强化学习在内的两阶段训练策略。这种方法增强了非语音声音的覆盖范围以及视听信息的整合，在基准测试中表现优于其他开源模型。