研究人员发现,在其他模型的输出来训练的语言模型可能会无意中获得隐藏的特征,例如对特定动物的偏好,即使这些特征没有在训练数据中明确提及。试图通过删除特定标记来禁止这些特征被证明是无效的,反而会导致特征以其他方式显现,这种现象被称为“气球效应”。研究发现,防止特征迁移最有效的方法是识别并修改负责将这些特征写入模型输出的特定神经回路。 AI
影响 揭示了大型语言模型中不希望出现的特征迁移的新机制,并提出有针对性的电路干预作为潜在的缓解策略。
排序理由 该集群包含一篇详细介绍语言模型行为新发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →