研究人员开发了 StreamingVLM，这是一种新颖的模型，旨在实时处理和理解长而连续的视频流。与以往在长视频上存在延迟和内存问题的旧方法不同，StreamingVLM 通过重用注意力状态并结合近期视觉和文本标记的短窗口和长窗口，采用紧凑的 KV 缓存。这种方法在新颖的 Inf-Streams-Eval 基准测试（包含两个小时以上的视频）上得到了验证，使该模型在 NVIDIA H100 上实现了高达 8 FPS 的稳定实时性能，在许多场景下优于 GPT-4O mini。 AI
影响 使实时 AI 助手和代理能够处理连续视频源而不会降低性能。
排序理由 该集群包含一篇详细介绍视频流理解新模型和基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →