Yunpeng Xiao

新的NLU指南揭示高标签错误率，LLM有所改善

研究人员在个体层面自然语言理解（NLU）任务（如立场检测和情感分析）的数据集中发现了显著的标签错误，错误率高达31.7%。为解决此问题，他们提出了一种新的标注指南，该指南纳入了个体用户的其他帖子，以更好地捕捉主观视角。使用该指南和GPT-4o、Llama3-70B等大型语言模型进行的实验表明，在重新标注的数据集上，纳入个体因素可将模型准确率提高到87%以上，凸显了该方法对未来NLU数据集创建的重要性。