Deep Vision Encoders

视觉编码器与人类颜色感知对齐度较弱

一项发表在arXiv上的新研究调查了常用于计算机视觉任务的深度视觉编码器是否表现出类似人类的颜色辨别阈值。研究人员使用受控的彩色刺激和区域重叠度量（mIoU）对超过50个预训练视觉编码器（包括卷积网络和视觉Transformer）与人类感知阈值进行了比较。研究结果表明，模型表征与人类阈值之间总体上对齐度较弱，表现最好的模型mIoU低于0.25。自监督编码器的表现优于监督式编码器，而语言监督模型的表现则差异很大。