Patch-Interaction Transformer

新的3D-LLM框架增强了多物体比较和几何推理能力

研究人员开发了一个名为Multi-3DLLM的新框架，以解决当前3D大语言模型在处理多个物体之间的详细比较时存在的局限性。该框架包括MO3D（一个用于多物体比较任务的新数据集）和一个Patch-Interaction Transformer（旨在模拟物体间关系并保持几何准确性）。这种方法在需要几何理解和多物体推理的任务上，显著优于现有的3D-LLM和2D-VLM。