PROTOBIAS

新基准揭示AI图像评估指标中的偏差

研究人员发现，文本到图像模型的自动评估指标存在一个重大的盲点，称为“原型性偏差”。这种偏差会导致指标偏好视觉上合理或社会原型化的图像，即使它们不能准确反映提示的语义含义。为了解决这个问题，开发了一个名为PROTOBIAS的新基准，它将语义正确的图像与原型化但语义不正确的对抗样本进行对比。初步研究结果表明，许多当前的评估指标在该基准上表现不佳，而人类判断在评估语义准确性方面仍然更可靠。