Nataliya Stepanova

新的双重最小对方法增强了LLM的刻板印象评估

研究人员提出了一种新的评估大型语言模型（LLM）中刻板印象的方法，该方法提出了一个“双重最小对”设置。这种方法旨在克服传统单对比较的不可靠性，这种比较在仅仅改变属性时可能导致不一致的偏好。提出的框架生成了多种语言的释义刻板印象和替代属性，以及两个新的评估指标。其中一个指标利用互信息来模拟社会群体与刻板印象属性之间的关系，为比较不同语言和模型之间的刻板印象强度提供了一种更稳健的方式。