PhysMoE

PhysMoE 通过新颖的标记化增强了具身视觉语言模型的空间定位能力

研究人员开发了 PhysMoE，这是一种用于具身视觉语言模型（VLMs）的新颖方法，旨在提高空间定位能力并降低解码延迟。该系统利用模态解耦的专家来执行空间和语言任务，通过重用视觉编码器嵌入将坐标编码为单个标记，并采用可微分的符号距离场监督。据报道，该方法在各种定位基准测试中平均提高了 15.7%，吞吐量加速了 8.31 倍，同时保持了多模态理解能力。