ConsiSpace框架提升了LLM在视频空间推理方面的能力

研究人员推出ConsiSpace，一个旨在增强多模态大语言模型（MLLMs）视频空间推理能力的新框架。该框架解决了当前MLLMs过于偏重语义而难以从不同视频视角聚合一致空间信息的局限性。ConsiSpace包含一个几何一致性记忆（GCM），并采用统一一致性自监督强化学习（UC-SSRL）来提高不同视角的稳定性和准确性。在VSI-Bench、OSI-Bench和MMSI-Video-Bench等基准测试上的实验表明，相比现有的强大基线模型，平均得分提高了12.6分，取得了显著的改进。 AI

影响 增强了LLM理解视频中空间关系的能力，这对于导航和长视频分析等应用至关重要。

排序理由 该集群包含一篇详细介绍视频空间推理新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• ConsiSpace
• DagsHub
• Hugging Face
• MMSI-Video-Bench
• OSI-Bench
• VSI-Bench

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →