研究人员发现了一种称为“跨提示推理”的现象,该现象可以提高视觉语言模型(VLM)在不平衡数据集上训练时的性能。该方法包括在推理时使用与训练时不同的描述性提示,这可以恢复否则会被抑制的稀有类别的性能。该研究评估了六个数据集上的各种 VLM,发现该技术可持续提高稀有类别的召回率,尽管它可能以牺牲常见类别的召回率为代价。这种效应与训练-评估提示交互有关,并且在视觉混淆加剧稀有类别抑制时最强。 AI
影响 这项研究提供了一种技术,可以提高视觉语言模型在类别分布不平衡的数据集上的性能,从而可能带来更强大的 AI 系统。
排序理由 该集群包含一篇详细介绍改进模型性能的新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Cross-Prompt Inference
- Emanuel Ben Baruch
- Hugging Face
- Imbalanced VLM Finetuning
- Matched-Prompt Penalty
- Rare-Class Suppression
- Tuning Contribution
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →