HiMo-CLIP

HANCLIP模型改进了视觉-语言负样本处理能力

研究人员开发了HANCLIP，一类新的视觉-语言模型，旨在改进负样本处理。与难以处理否定语句的传统模型不同，HANCLIP重构了其嵌入空间，以便明确编码图像“不是”什么，以及“是”什么。这种方法使用双曲公式和角三元组目标，在一个小型数据集上进行训练，以增强负样本敏感性，同时不降低在标准基准上的性能。该框架是可适应的，并且可以集成到现有的模型中，如CLIP和LongCLIP。