研究人员开发了StateTrace，一个新颖的面向对象的框架，旨在提高VideoLLM在长视频场景下的时空推理能力，特别是在物体可能暂时不可见的情况下。该框架构建了一个时空状态记忆来追踪物体轨迹和状态转换，使模型即使在物体不可直接观察时也能推断其状态。为了评估这一点，创建了一个名为HSR-Bench的新基准，包含超过1400个视频问答样本。实验表明，StateTrace显著提升了各种VideoLLM的性能，尤其将VideoLLaMA3在HSR-Bench上的得分从39.6提高到64.2。 AI
影响 增强了AI模型在长视频中推理物体状态的能力，可能改进视频分析和监控等应用。
排序理由 该集群描述了一篇介绍用于视频理解的新框架和新基准的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Existing VLMs have achieved strong performance in video understanding, yet they struggle with long-video spatiotemporal reasoning when target objects become invisible, often mistaking "invisible" for "unknown". We define this challenge as hidden-state spatiotemporal reasoning: in…
arXiv:2608.18532v1 Announce Type: new Abstract: Existing VLMs have achieved strong performance in video understanding, yet they struggle with long-video spatiotemporal reasoning when target objects become invisible, often mistaking "invisible" for "unknown". We define this challe…