PulseAugur
中
实时 05:59:29
English(EN) PercepCap: Video Captioner with Structured Spatio-Temporal Perception

PercepCap框架通过明确感知来增强视频字幕生成

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的视频字幕生成框架PercepCap，该框架在生成描述之前显式地对时空感知进行建模。这种方法旨在通过使物体轨迹和时间事件等潜在感知证据可见来提高准确性。PercepCap采用两阶段训练策略，包括监督微调和强化学习，以优化感知轨迹和最终字幕。该框架在评估中显示出优于Qwen3-VL基线的性能。 AI

影响 该框架可以提高从视频内容生成描述的AI模型的解释性和准确性。

排序理由 这是一篇详细介绍视频字幕生成新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

PercepCap框架通过明确感知来增强视频字幕生成

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang ·

    PercepCap：具有结构化时空感知的视频字幕生成器

    arXiv:2607.20389v1 Announce Type: new Abstract: Video captioning requires fine-grained spatio-temporal understanding of videos, including spatial perception of where objects are located and temporal perception of when events occur. Existing MLLMs usually generate captions directl…

相关实体

相关话题