研究人员开发了一种名为移位感知校准（SAC）的新型无需训练的方法，以提高CLIP等视觉语言模型（VLM）的可靠性。对这些模型进行微调可能会导致其预测置信度与实际准确度之间出现不匹配，尤其是在遇到新类别或数据分布时。SAC通过分析原始CLIP模型和微调后CLIP模型输出的对数几率（logits）差异来解决这个问题，利用这种“对数几率移位”作为信号来调整置信度，而不改变预测类别。在多个数据集和微调技术上的实验表明，SAC在提高熟悉类别和未见类别校准方面的有效性，即使在具有挑战性的跨数据集和领域泛化评估中也是如此。 AI
影响 提高了视觉语言模型的可靠性和校准性，有望在图像和文本理解领域带来更值得信赖的AI应用。
排序理由 详细介绍一种改进视觉语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
