研究人员开发了WarBias,这是一个新的双语基准测试,旨在评估大型语言模型(LLM)对国内流离失所者(IDP)和退伍军人的刻板印象。与关注性别或种族等受保护特征的常见偏见基准测试不同,WarBias关注的是代表性不足的群体。该基准测试有乌克兰语和英语两种版本,包含句子三元组和多项选择题,这些题目源自120个刻板印象声明的分类法。初步评估显示,一些LLM倾向于选择刻板印象的句子,尤其是在涉及国内流离失所者方面。 AI
影响 该基准测试旨在通过识别和减轻针对退伍军人和国内流离失所者等弱势群体的刻板印象来提高LLM的公平性。
排序理由 该项目是一篇研究论文,详细介绍了一个用于评估LLM偏见的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →