EditJudgeBias

新基准揭示多模态大语言模型在图像编辑评判中的偏见

研究人员开发了一个名为 EditJudgeBias 的新基准，用于审计多模态大语言模型（MLLM）在用作图像编辑任务裁判时的偏见。该基准包含 1,196 个真实编辑样本和 13 个旨在测试质量保留干预措施的注入线索。实验显示，MLLM 裁判容易受到无关视觉线索的影响，捏造的多数意见会提高评分，而候选顺序的改变会逆转相当一部分的决策。研究强调，需要不同的指标来表征 MLLM 裁判的鲁棒性，因为单一指标无法捕捉其性能的所有方面。