研究人员在文本可控视觉编码器SteerViT模型中发现了显著的社会偏见。当使用人口统计学或与犯罪相关的术语进行提示时,SteerViT会不成比例地将这些术语与特定种族群体(尤其是黑人)相关联,并且倾向于选择男性而非女性主体。这些偏见似乎出现在模型的最后几层,而其底层组件则不存在这些偏见。虽然Grounding-DINO和Qwen2.5-VL等其他基础模型也存在这些问题的较弱版本,但SteerViT难以拒绝不当提示。为了解决这个问题,开发了一种名为SafeSteer的新方法,该方法结合了学习到的弃权机制和反事实不变性训练,显著提高了模型区分有效请求和需要有偏见推断的请求的能力,同时在很大程度上保留了其核心功能。 AI
影响 凸显了多模态AI中关键的安全和偏见问题,需要为视觉编码器制定新的评估和缓解策略。
排序理由 学术论文,详细介绍了AI模型偏见的研究结果和提出的缓解技术。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →