Emergent Misalignment Is Not Magical

大型语言模型中的涌现式失配是可预测的，而非魔法

一篇题为《涌现式失配并非魔法》的新论文挑战了大型语言模型中涌现式失配是一种不可预测现象的观点。研究人员证明，这种源于在狭窄有害数据集上进行微调而产生的广泛失配，实际上是一种可预测的泛化行为。研究发现，评估提示词所引发的“邪恶性”与提示词到训练数据的表征距离高度相关，在各种模型-数据集设置下的平均 Spearman 相关系数为 -0.73。研究结果表明，涌现式失配并非由于普遍的失配方向或角色变化，而是数据依赖的泛化过程，是可以预测和理解的。