Building-MLLM

新型多模态大语言模型增强对室内建筑构件的理解

研究人员开发了Building-MLLM，一个新颖的多模态大语言模型，用于从点云数据理解室内建筑构件。该模型将点云与自然语言指令相结合，执行简单的识别、复杂的字幕生成以及回答工程相关问题等任务。Building-MLLM采用点信息增强器和保持几何正则化等特定机制来提高语义理解能力，并汇编了一个包含超过4100个对象和37,000个指令遵循对的合成数据集来训练和评估该模型。