研究人员开发了一种新方法，用于在最终确定标签之前审核主观自然语言处理（NLP）数据集。这种模式级别的诊断工具分析了跨标准的标注者判断，以识别诸如操作边界不清晰或类别重叠等问题。当应用于商业文件中的说服性价值提取时，该诊断显示分歧集中在特定标准上，并且许多句子可以归入多个类别，从而为改进标注指南提供了见解。 AI
影响 引入了一个新颖的主观NLP数据集审计框架，有望提高未来NLP研究的质量和可靠性。
排序理由 学术论文提出了一种主观NLP任务的新诊断方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.17022v2 Announce Type: replace-cross Abstract: Subjective NLP datasets typically aggregate annotator judgments into a single gold label, making it difficult to diagnose whether disagreement reflects unclear criteria, collapsed distinctions, or legitimate plurality. We …