Covert Trait Propagation

新研究揭示了人工智能模型如何隐秘地通过几何对齐传播特征

研究人员在机器学习模型中展示了一种称为隐秘特征传播（CTP）的现象，即学生模型即使在用随机噪声训练的情况下也能继承教师模型的能力。这种转移不仅通过信息，还通过网络内部表示的几何对齐来实现，特别是输出投影 W_2 作为公共坐标键。实验表明，共享初始化至关重要，操纵特定网络层可以启用或禁用此特征传播，这表明对模型如何学习和转移知识有了更深入的机制理解。