PulseAugur
实时 11:10:53
English(EN) Who Annotates in NLP? A Large-scale Assessment of Human Annotation Reporting between 2018 and 2025

研究发现,NLP研究常遗漏关键的人工标注细节

一项新近发表在arXiv上的研究评估了2018年至2025年间自然语言处理(NLP)研究中人类标注实践的报告情况。研究发现,虽然招募和标注量等操作性细节经常被记录,但评估有效性所需的关键信息,如标注者培训、报酬和一致性指标,却常常被遗漏。该研究提出了一个框架和建议,以提高NLP中人类标注的可靠性和可解释性。 AI

影响 突出了NLP研究报告中的关键差距,可能影响基于人类标注数据训练的AI模型的可靠性和可复现性。

排序理由 分析研究领域报告实践的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Maria Kunilovskaya, Gagan Bhatia, Lisa Sophie Albertelli, Yanran Chen, Christian Greisinger, Lotta Kiefer, Christoph Leiter, Subhadeep Roy, Tewodros Achamaleh, Muhammad Arslan Manzoor, Sebastian Pohl, Yufang Hou, Steffen Eger ·

    Who Annotates in NLP? A Large-scale Assessment of Human Annotation Reporting between 2018 and 2025

    arXiv:2606.02255v1 Announce Type: cross Abstract: Human annotation is the empirical foundation of much NLP research, from dataset construction to model evaluation, but papers often leave unclear who produced the annotations and how the annotation process was controlled. We provid…