WinoQueer

新基准测试旨在解决AI语言模型中的反LGBTQ偏见

一项新的研究论文介绍了一个多语言基准数据集，旨在评估和减轻语言模型中的反LGBTQ偏见，特别关注德语和英语。该数据集结合了来自德语区酷儿群体的社区来源的刻板印象以及WinoQueer基准测试的翻译版本。对八种不同语言模型的评估显示，它们会延续反酷儿的刻板印象，不同身份和模型之间的偏见程度各不相同。虽然在进步内容上进行微调显示出一些偏见减少，但并非对所有模型和身份都有效。