KgCoOp

解耦模式连通性增强视觉-语言模型泛化能力

研究人员推出了一种名为解耦模式连通性（DMC）的新方法，以增强视觉-语言模型的泛化能力。DMC通过为每个类别使用单独的提示来解决基类专业化和新类泛化之间的冲突目标。该方法在最近的arXiv论文中进行了详细介绍，它利用线性模式连通性走廊和视觉锚点KL项来维持分类损失并保留CLIP的零样本特征空间分布。在11个数据集上的实验表明，DMC的表现优于MergeTune等现有方法，它移动了基线-新颖准确率的前沿，而不仅仅是权衡性能。