新的SlotNarrative接口提高了视频-LLM的令牌效率

研究人员推出了一种名为SlotNarrative的新型接口，旨在提高视频大型语言模型（Video-LLMs）的令牌效率。该系统使用紧凑的对象状态令牌将视频组织成持久化对象叙事，这些令牌代表对象在不同片段中的身份及其状态（外观、几何形状、可见性、轨迹）。与之前压缩逐帧特征的方法不同，SlotNarrative首先将视觉特征分组到类似对象的槽中，然后通过无参数内存将重复的观察与剪辑级条目关联起来。这种方法为冻结的Video-LLM分配了固定的144个视觉令牌位置，而与采样帧的数量无关，并在各种数据集上展示了有利的准确性-令牌权衡。 AI

影响 这一新接口可以显著降低视频理解任务的计算成本，从而拓宽Video-LLMs的应用范围。

排序理由 该项目是一篇学术论文，详细介绍了一种用于视频语言模型的新技术方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyX
• Connected Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Litmaps
• ScienceCast
• scite Smart Citations
• SlotNarrative
• Video LLMs

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →