English(EN) Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

研究人员通过层修复分析，精确定位并缓解LLM中的道德偏见

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-20 04:00

研究人员调查了微调后大型语言模型（LLM）中道德偏见的表现和定位。通过对三个开源权重LLM进行层修复分析，他们证明了Knobe效应（一种与意图判断相关的特定道德偏见）是在微调过程中学习到的，并且可以精确定位到特定层。研究发现，通过将原始预训练模型中的激活值修复到这些关键层，可以在无需完全重新训练模型的情况下有效消除偏见。 AI

影响提供了一种在不完全重新训练的情况下，解释、定位并可能缓解LLM中社会偏见的方法。

排序理由学术论文，详细介绍了分析和缓解LLM偏见的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli · 2026-07-20 04:00

通过机制可解释性分析微调LLM中的道德偏见

arXiv:2510.12229v3 Announce Type: replace-cross Abstract: Large language models (LLMs) have been shown to internalize human-like biases during finetuning, yet the mechanisms by which these biases manifest remain unclear. In this work, we investigated whether the well-known Knobe …

报道来源 [1]

通过机制可解释性分析微调LLM中的道德偏见

相关实体

相关话题