一个名为DiSCo的新评估框架已被开发出来,用于衡量大型语言模型(LLMs)中的文化偏好偏差。与之前的基准测试不同,DiSCo采用面向分布的方法和强制选择题来分离默认的文化先验并测试引导能力。使用DiSCo-Bench(包含来自12种文化的条目)进行的评估显示,大型语言模型严重偏好英美文化偏好,基于提示的引导会加剧这种偏见,而不是解决它。 AI
影响 强调了开发和评估更具文化公平性的大型语言模型的需求,可能影响未来的模型训练和微调。
排序理由 该集群包含一篇详细介绍大型语言模型新评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →