Difair

新基准 GKnow 揭示了大型语言模型中性别偏见与事实性知识的纠缠

研究人员开发了 GKnow，这是一个旨在衡量语言模型中事实性性别知识和性别偏见的新基准。该基准旨在区分刻板印象输出和事实性性别输出，而这两种输出在当前分析中常常被混淆。使用 GKnow 进行的实验显示，事实性性别知识和性别偏见在模型内部的电路和神经元层面都紧密交织，这表明简单的消融技术可能对消除偏见无效，甚至可能掩盖事实性性别知识的损失。