实体
Human Label Variation
Human Label Variation
PulseAugur coverage of Human Label Variation — every cluster mentioning Human Label Variation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新数据集VariNLI-VE揭示了视觉蕴含任务中的人类标签变异性
研究人员推出了VariNLI-VE,一个旨在研究视觉蕴含(VE)任务中人类标签变异性的新数据集。通过让同一批标注者重新标注自然语言蕴含(NLI)和VE实例对,他们发现与NLI相比,VE中的人类标签分歧并未持续降低,某些实例甚至显示出分歧增加。研究还表明,即使标签本身相同,标签的解释也可能不同。在对视觉语言模型进行配对数据评估时,模型在VE任务上的准确率低于NLI任务,且与人类标签分布的对齐度也较差。
-
新的CAPO方法使LLM能够学习标注者特定的推理
研究人员开发了一种名为跨标注者偏好优化(CAPO)的方法,使大型语言模型(LLM)能够学习和复制标注者特定的推理模式。通过分析标签旁的自由文本解释,CAPO旨在捕捉个体标注者行为的细微差别,这些细微差别在单次标注层面通常很弱,但通过聚合可以被检测到。实验表明,CAPO在模仿这些特定推理模式方面优于标准的提示和监督微调,为更具可扩展性和基于解释的标注指明了方向。