PulseAugur
中
实时 11:42:37
English(EN) CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models

新型CAIRN模型可实现跨多个房间的3D场景理解

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的拓扑感知超大模态模型CAIRN，用于理解复杂的3D室内环境。与以往仅限于单个房间的模型不同，CAIRN通过显式建模物体关系和房间连通性，可以跨越互联房间进行推理。该模型利用图神经网络来获取物体上下文，引入了学习到的房间令牌，并采用分层注意力掩码来处理场景拓扑。CAIRN在新发布的CAIRN-MR基准上进行开发和评估，在多房间场景理解任务上展示了比现有3D-LLM显著的改进。 AI

影响 这项研究推进了多模态AI理解复杂、真实世界3D环境的能力，可能为更先进的机器人和虚拟现实应用提供支持。

排序理由 该集群描述了一篇介绍用于3D场景理解的新颖模型和基准的研究论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新型CAIRN模型可实现跨多个房间的3D场景理解

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · He Liang, Chenyang Ma, Yiming Zhang, Sangyun Shin, Andrew Markham, Niki Trigoni, Yuhang He ·

    CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models

    arXiv:2607.06534v1 Announce Type: new Abstract: Existing 3D scene-grounded Large Language Models (3D-LLMs) focus on answering questions grounded in simplified single-room 3D scenes, lacking the ability to reason over real-world household environments containing multiple interconn…

  2. arXiv cs.CV TIER_1 English(EN) · Yuhang He ·

    CAIRN：具有拓扑感知的大型多模态模型实现跨房间三维场景理解

    Existing 3D scene-grounded Large Language Models (3D-LLMs) focus on answering questions grounded in simplified single-room 3D scenes, lacking the ability to reason over real-world household environments containing multiple interconnected rooms and diverse object categories. We in…

相关实体

相关话题