Ibrahim Mohamed Serouis

新框架评估文本到图像模型在指令遵循方面的能力

研究人员推出 Imag-Eval，一个旨在通过评估文本到图像模型遵循复杂、组合式自然语言指令的能力来对其进行评估的新框架。该基准旨在提供比现有方法更具可解释性和诊断性的评估，而现有方法常常忽略关键的可用性问题，例如全局不连贯或物理上不可行的配置。Imag-Eval 通过独立改变实例数量和规则组合来区分语言复杂性和组合难度，从而能够对指令遵循失败进行更细粒度的分析。