QGAP

新型3D-SceneQ大语言模型通过自适应剪枝和多模态特征增强场景理解能力

研究人员推出了一款名为3D-SceneQ的新型大语言模型（LLM），旨在提升3D场景理解能力。该模型通过引入查询引导的自适应剪枝（QGAP）模块来过滤无关对象数据，并结合多模态对象级特征增强（MOFE）模块来整合来自2D模态的语义信息，从而解决了现有3D大语言模型的局限性。评估结果表明，3D-SceneQ在Scan2Cap和SQA3D等基准测试中超越了当前最先进的方法，展示了其在3D语言任务中增强的推理和定位能力。