Graded Color Attribution (GCA)

VLMs 无法遵守自身的推理规则，而人类可以

一项新的研究论文介绍了一个分级颜色归因（GCA）数据集，用于研究视觉语言模型（VLMs）的可靠性。研究发现，虽然 VLMs 可以准确评估颜色覆盖率等视觉信息，但它们经常与其自身陈述的推理规则相矛盾。相比之下，人类参与者在遵循内省规则方面表现出更大的忠实度，其偏差是由认知偏见解释的，而不是推理失败。这种差异凸显了 VLM 自我知识的校准不当，对其在高风险应用中的可靠部署构成了挑战。