TCA-Captioner

新模型通过时域音视频集成增强视频字幕生成

两篇新的研究论文介绍了通过整合音频和视觉信息来为视频生成详细、时域感知的字幕的先进方法。第一篇论文TCA-Captioner，侧重于使用迭代细化策略和诊断基准来改进时空和跨模态对齐。第二篇论文TimeChat-Captioner，提出了一种名为Omni Dense Captioning的新任务，该任务生成带有时间戳的连续、脚本式字幕，并引入了一个在下游任务上优于Gemini-2.5-Pro的基线模型。