新AI框架无需查询即可跟踪和描述视频中的运动

研究人员开发了TCAM（Track and Caption Any Motion），一个新颖的生成框架，旨在自动理解和描述视频中的运动。与需要文本查询或依赖对象级检测的先前方法不同，TCAM直接将像素级轨迹跟踪与语言生成联系起来。它使用一个Caption-Aware Resampler从密集点轨迹中提取运动上下文，使语言解码器能够一次性生成自由形式的字幕、时间位置和相应的轨迹指针，用于所有事件。这种方法在没有显式查询的情况下，在视频字幕和运动定位方面取得了最先进的性能。 AI

影响 该框架可以通过无需特定用户提示即可进行更详细和自动化的运动分析来推动视频理解的发展。

排序理由 该项目是一篇研究论文，详细介绍了一个用于视频分析的新AI框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• Caption-Aware Resampler
• CatalyzeX Code Finder for Papers
• DagsHub
• Gotit.pub
• Hugging Face
• Open-Vocabulary Spatiotemporal Captioning
• Sarah Ostadabbas
• ScienceCast
• Trajectory-Conditioned Generation

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →