RCLIP-Bench

ReasonCLIP-58M通过视觉常识推理增强CLIP模型

研究人员推出ReasonCLIP-58M，一个用于持续预训练CLIP风格模型的新框架。该方法整合了大规模推理监督，以增强视觉基础的常识推理和组合推理能力。该框架采用两阶段策略，在逐步添加推理信号的同时保持描述性对齐，并得到了新的数据集和诊断评估基准的支持。ReasonCLIP-58M可用作多模态大型语言模型的即插即用视觉编码器，在不增加推理成本的情况下提高性能。