PulseAugur
中
实时 16:11:12
English(EN) How Much Human Label Variation Does Formal Semantic Structure Explain?: Group-Level Effects and Item-Level Ceilings in NLI

形式语义结构在自然语言推断（NLI）任务中仅能解释极少的人类标签变异性

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了形式语义结构在多大程度上解释了自然语言推断（NLI）任务中人类标签的变异性。该研究分析了来自 SNLI 和 MNLI 语料库的项目，发现具有不那么直接单调性的假设表现出更高的标签熵。然而，形式特征仅占熵方差的一小部分，表明它们不足以识别具有高标注者分歧的项目。研究还发现，语义结构并未显著改变标注者之间分歧的性质。 AI

影响 这项研究表明，当前的形式语义结构不足以完全理解或预测 NLI 任务中的人类分歧，这可能会影响更强大、更具可解释性的模型的开发。

排序理由 学术论文，详细分析了现有的 NLI 数据集。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

形式语义结构在自然语言推断（NLI）任务中仅能解释极少的人类标签变异性

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Haram Choi (University of Bremen) ·

    正式语义结构能解释多少人类标注变异性？：自然语言推断中的群体效应和项目级上限

    arXiv:2607.15870v1 Announce Type: new Abstract: Human label variation in natural language inference is increasingly treated as signal rather than noise, but how much of it formal semantic structure explains has not been measured directly. We measure it on the 3,113 SNLI and MNLI …

相关实体

相关话题