Elena Merdjanovska

新方法提高NER模型对含噪声LLM标签的鲁棒性

研究人员开发了一种名为错误类型感知损失重加权的新方法，以提高在大型语言模型（LLM）生成的含噪声数据上训练的命名实体识别（NER）模型的鲁棒性。该方法认识到LLM的标注错误并非均匀分布，不同类型的错误（例如，遗漏提及与类型不正确）对训练信号的影响不同。通过对不同错误类型应用不同的重加权规则，该方法提高了NER性能，在包含24.1%噪声的Wikigold数据集上取得了高达4.6个百分点的提升。