研究人员开发了一个名为Genres的新基准,通过关注社会关系来评估多模态大语言模型(MLLMs)中的性别偏见。该基准包含1,440个多模态叙事提示,旨在引发不同关系类型、社会场景和年龄段之间的互动。对六个近期MLLMs进行的实验表明,性别差异依然存在,并受特定关系背景和所用模型的影响,一些偏见在互动环境中变得更加明显。研究还测试了缓解策略,强调了关系感知评估在揭示MLLMs中细微偏见的重要性。 AI
影响 该基准可能促使更细致的AI安全评估,推动开发者解决细微的、基于互动的偏见。
排序理由 该集群包含一篇学术论文,详细介绍了用于评估AI模型的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →