Ghost Annotator

新框架分析内容审核中的大型语言模型偏见

研究人员开发了一个名为“幽灵标注器”的新框架，用于分析内容审核任务中人类标注的变异性，特别是在使用大型语言模型进行标注时。该框架结合了一致性预测和协同过滤，以模拟大型语言模型相对于人类标注者的行为，识别模型预测与人类共识不符的情况。研究发现，较大的大型语言模型在对与任何人类标注都不符的内容进行分类时往往更自信，并揭示了人口统计学不匹配的一致模式，这表明预训练数据中存在偏见。