研究人员推出了一种用于视觉-语言模型(VLM)提示调优的新方法 M-PFT,该方法解决了校准问题。提示调优的 VLM 通常在熟悉类别上表现出信心不足,在新类别上表现出过度自信。M-PFT 采用角边距方法,通过最小化类别嵌入之间的余弦相似度并将可调嵌入与其零样本对应项对齐来增强类别可区分性。在各种方法和数据集上的实验表明,M-PFT 在保持基础类别性能和准确性的同时,能有效降低新类别的校准误差,且计算成本极低。 AI
影响 这项研究提供了一种提高视觉-语言模型可靠性和校准性的新颖方法,有望增强其在实际应用中的性能。
排序理由 该集群描述了一篇关于提示调优视觉-语言模型的新颖方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- cosine similarity
- embedding
- M-PFT
- Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model
- vision-language model
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →