一项预注册的复制研究旨在验证先前在自然语言推理（NLI）任务中观察到的人类标签变异（HLV）边界。最初的研究表明，具有非向上单调算子的假设会导致较低的标签一致性。然而，这项在SNLI和MultiNLI开发集中的未选定人群中进行的复制未能证实这一发现。相反，该研究观察到非向上项目的同意率略高，所有效应量均低于关注阈值，这使得作者得出结论，原始边界可能取决于选择方法，而不是一般人群的属性。 AI
影响 这项研究强调了在NLI数据集中明确报告数据选择方法的重要性，这可能会影响未来的数据集创建和评估实践。
排序理由 该集群包含一篇详细介绍科学研究及其发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- arXiv:2607.15870
- ChaosNLI
- Hugging Face Daily Papers
- MultiNLI
- Selection Shapes the Boundary: A Preregistered Replication of Monotonicity and Label Agreement in Unselected NLI Populations
- Stanford Natural Language Inference corpus
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
