AssemState

新框架AssemState增强了MLLMs在3D家具组装任务中的能力

研究人员开发了AssemState，一个新颖的零样本框架，旨在提高多模态大型语言模型（MLLMs）在执行精确3D空间推理方面的能力，以完成家具组装等任务。该框架将组装手册分解为单个部件操作，并使用迭代反馈细化来指导姿态更新和通过模拟进行的物理验证。实验表明，与以前的方法相比，在组装树恢复和部件级操作准确性方面有了显著提高，尽管MLLMs在复杂空间关系推理方面仍面临局限性。