Imbalanced VLM Finetuning

Cross-prompt inference boosts rare-class recall in imbalanced VLM finetuning

研究人员发现了一种称为“跨提示推理”的现象，该现象可以提高视觉语言模型（VLM）在不平衡数据集上训练时的性能。该方法包括在推理时使用与训练时不同的描述性提示，这可以恢复否则会被抑制的稀有类别的性能。该研究评估了六个数据集上的各种 VLM，发现该技术可持续提高稀有类别的召回率，尽管它可能以牺牲常见类别的召回率为代价。这种效应与训练-评估提示交互有关，并且在视觉混淆加剧稀有类别抑制时最强。