3D-LLMs

新型CAIRN模型可实现跨多个房间的3D场景理解

研究人员推出了一种新颖的拓扑感知超大模态模型CAIRN，用于理解复杂的3D室内环境。与以往仅限于单个房间的模型不同，CAIRN通过显式建模物体关系和房间连通性，可以跨越互联房间进行推理。该模型利用图神经网络来获取物体上下文，引入了学习到的房间令牌，并采用分层注意力掩码来处理场景拓扑。CAIRN在新发布的CAIRN-MR基准上进行开发和评估，在多房间场景理解任务上展示了比现有3D-LLM显著的改进。