DiSCo-Bench

新的DiSCo框架揭示大型语言模型存在严重的英美文化偏见

一个名为DiSCo的新评估框架已被开发出来，用于衡量大型语言模型（LLMs）中的文化偏好偏差。与之前的基准测试不同，DiSCo采用面向分布的方法和强制选择题来分离默认的文化先验并测试引导能力。使用DiSCo-Bench（包含来自12种文化的条目）进行的评估显示，大型语言模型严重偏好英美文化偏好，基于提示的引导会加剧这种偏见，而不是解决它。