FoR-T2I

新基准揭示文本到图像模型难以进行面向对象的空间推理

研究人员开发了FoR-T2I，一个旨在评估文本到图像模型理解和遵循空间指令能力的新基准，特别是在参照系不同时。该基准包含1200对提示，测试模型区分摄像机视角坐标和对象内在方向的能力。在评估的22个模型中，需要面向对象参照系的提示性能显著下降，表明普遍存在此类空间推理的困难。一种VLM门控重写方法通过选择带有视觉反馈的重写提示，显示出提高准确性的潜力。