7B-scale model

新基准揭示多模态大语言模型在空间推理方面存在困难

研究人员开发了PCSR-Bench，一个旨在评估多模态大语言模型（MLLMs）在处理全向图像时的空间推理能力的新基准。该基准包含超过84,000个问答对，揭示了MLLMs在性能上存在显著差距，在自我中心旋转和组合推理等复杂任务上的准确率急剧下降。然而，使用强化学习在7B规模模型上进行的实验表明，空间推理能力并非完全不可改变，可以通过有针对性的优化来提高，尽管收益是特定于任务的，并且对奖励设计敏感。