新基准揭示文本到图像模型难以进行面向对象的空间推理

研究人员开发了FoR-T2I，一个旨在评估文本到图像模型理解和遵循空间指令能力的新基准，特别是在参照系不同时。该基准包含1200对提示，测试模型区分摄像机视角坐标和对象内在方向的能力。在评估的22个模型中，需要面向对象参照系的提示性能显著下降，表明普遍存在此类空间推理的困难。一种VLM门控重写方法通过选择带有视觉反馈的重写提示，显示出提高准确性的潜力。 AI

影响 突出了当前文本到图像模型在细微空间理解方面的一个关键限制，可能指导未来的研究和开发。

排序理由 该集群包含一篇介绍新基准的研究论文以及对现有模型的分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• Camelopardalis
• CatalyzeX
• DagsHub
• Fornax
• FoR-T2I
• Gotit.pub
• Hugging Face
• Influence Flower
• ScienceCast
• vision-language model

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →