研究人员推出了VariNLI-VE,一个旨在研究视觉蕴含(VE)任务中人类标签变异性的新数据集。通过让同一批标注者重新标注自然语言蕴含(NLI)和VE实例对,他们发现与NLI相比,VE中的人类标签分歧并未持续降低,某些实例甚至显示出分歧增加。研究还表明,即使标签本身相同,标签的解释也可能不同。在对视觉语言模型进行配对数据评估时,模型在VE任务上的准确率低于NLI任务,且与人类标签分布的对齐度也较差。 AI
影响 强调了评估视觉语言模型面临的挑战,并指出了数据集创建和模型对齐方面的改进方向。
排序理由 该集群描述了一个新的数据集和研究论文,分析了视觉蕴含任务中人类标签的变异性。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Bowman et al.
- Hugging Face
- Human Label Variation
- Stanford Natural Language Inference corpus
- Natural Language Inference
- VariNLI-VE
- vision-language model
- Visual Entailment
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →