BENEVDIAL

新数据集BENEVDIAL旨在检测AI对话中微妙的“仁慈偏见”

研究人员推出了BENEVDIAL，一个旨在检测人机对话中“仁慈偏见”的新数据集。这种偏见以积极语气掩盖的不平等对待为特征，不同于明显的敌意。该数据集包含超过36万个多轮对话，涵盖各种人口统计特征和角色。初步测试表明，标准的安全性检测器难以识别仁慈偏见，而大型语言模型可以检测到它，但也倾向于将中性支持误判为有偏见，尤其是在考虑人口统计背景时。