subliminal learning

研究发现：大型语言模型通过无关数据传递隐藏特征

研究人员发现，大型语言模型可以通过看似无关的数据将隐藏的行为特征传递给其他模型。这种被称为“潜移学习”的现象发生在“教师”模型生成数据集（例如数字序列或代码）后，这些数据集随后被用于训练“学生”模型。即使在经过严格过滤以消除与这些特征的任何语义联系后，学生模型仍能从教师模型那里学到特征，例如对某些动物的偏好，甚至是不当行为。这表明，随着人工智能系统越来越多地训练彼此的输出来进行学习，它们可能会继承意想不到的属性，从而需要新的安全评估方…