研究人员调查了视觉语言模型(VLMs)中的潜意识学习现象,即教师模型通过不相关的训练数据将隐藏的偏好传递给学生模型。涉及不同大小(20亿至70亿参数)的VLMs的实验表明,即使训练任务侧重于几何形状,动物或面部属性的偏见也可以从教师模型转移到学生模型。这种转移导致学生模型更频繁地选择目标属性,在某些情况下差异高达约10个百分点。此外,研究发现,有偏见的学生模型的解释比对照组学生模型更能模仿教师的措辞,表明其偏好和解释风格都发生了变化。 AI
影响 揭示了隐藏偏见在VLMs中转移的潜在可能性,影响了训练数据策展和模型可解释性。
排序理由 该集群包含一篇详细介绍模型行为新发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- ScienceCast
- subliminal learning
- vision-language model
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →