PulseAugur
中
实时 06:57:12

新数据集VariNLI-VE揭示了视觉蕴含任务中的人类标签变异性

研究人员推出了VariNLI-VE,一个旨在研究视觉蕴含(VE)任务中人类标签变异性的新数据集。通过让同一批标注者重新标注自然语言蕴含(NLI)和VE实例对,他们发现与NLI相比,VE中的人类标签分歧并未持续降低,某些实例甚至显示出分歧增加。研究还表明,即使标签本身相同,标签的解释也可能不同。在对视觉语言模型进行配对数据评估时,模型在VE任务上的准确率低于NLI任务,且与人类标签分布的对齐度也较差。 AI

影响 强调了评估视觉语言模型面临的挑战,并指出了数据集创建和模型对齐方面的改进方向。

排序理由 该集群描述了一个新的数据集和研究论文,分析了视觉蕴含任务中人类标签的变异性。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新数据集VariNLI-VE揭示了视觉蕴含任务中的人类标签变异性

本文如何被排名

Signal score
37 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群描述了一个新的数据集和研究论文,分析了视觉蕴含任务中人类标签的变异性。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Monica Riedler, Jasmin Orth, Raffaella Bernardi, Barbara Plank ·

    旁观者之眼:文本和视觉蕴含中的人类标签变异

    arXiv:2611.17954v1 Announce Type: new Abstract: Human Label Variation (HLV) is increasingly recognised as an informative signal that reflects meaningful differences in how people interpret the same input. While HLV has been studied extensively in Natural Language Inference (NLI),…