一项新近发表在arXiv上的研究评估了2018年至2025年间自然语言处理(NLP)研究中人类标注实践的报告情况。研究发现,虽然招募和标注量等操作性细节经常被记录,但评估有效性所需的关键信息,如标注者培训、报酬和一致性指标,却常常被遗漏。该研究提出了一个框架和建议,以提高NLP中人类标注的可靠性和可解释性。 AI
影响 突出了NLP研究报告中的关键差距,可能影响基于人类标注数据训练的AI模型的可靠性和可复现性。
排序理由 分析研究领域报告实践的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →