研究人员引入了“一致性得分”(Congruency Score, CS)这一新方法,以更好地校准视觉-语言模型中长文本描述与图像内容之间的一致性。该方法将相似性证据映射到有界得分,解决了图像和文本嵌入之间的模态鸿沟。在DOCCI和Urban1k等数据集上的评估表明,事后校准虽然能保持与人类判断的强关联性,但基于投影的方法会以牺牲检索性能为代价来改善阈值校准。该研究强调应将长文本图像-文本一致性评分视为一个具有多个目标(检索性能、人类关联性和阈值校准)的独立问题。 AI
影响 提高了涉及详细图像-文本匹配任务的视觉-语言模型的准确性和可解释性。
排序理由 介绍视觉-语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Alessandro Gambetti
- alphaXiv
- arXiv
- CatalyzeX
- Congruency Score (CS)
- DagsHub
- DOCCI
- Gotit.pub
- Hugging Face
- ScienceCast
- Urban1k
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →