研究人员推出 AURA 2.0,这是一款先进的流媒体视频大型语言模型,旨在超越对用户提示的被动响应。该新模型具有模型发起对话(MIC)功能,使其能够主动识别和讨论视频流中的相关事件。它还集成了流感知工具调用(SATC),用于调用具有视觉上下文的外部工具,以及交互式视觉接地(IVG),用于在视频帧内进行精确的对象识别和链接。AURA 2.0 利用长时交互记忆(LHIM)来维持长时间的上下文,并在开源流媒体基准测试中展示了领先的性能,其权重和代码现已公开可用。 AI
影响 在视频流中实现主动式 AI 交互,有望提高多媒体应用中的用户参与度和任务完成率。
排序理由 详细介绍新模型发布及开源权重的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Aura
- AURA 2.0
- Hugging Face
- Interactive Visual Grounding
- Long-Horizon Interaction Memory
- Model-Initiated Conversation
- Stream-Aware Tool Calling
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →