PolyPythia

潜意识学习在不同训练变体中持续存在于大型语言模型中

研究人员调查了大型语言模型中的“潜意识学习”，即在其他模型生成的数据上训练的模型可能会继承非预期的特征。该研究探讨了硬标签蒸馏（使用教师生成的数字）和同策略软标签蒸馏（学生模型在教师对数引导下生成数据）。研究使用Pythia、PolyPythia和DataDecide OLMo等模型，发现这种偏好转移在模型架构、训练数据和初始化存在各种差异的情况下仍然存在。研究还指出，模型的教学能力和学习这些偏好的能力可以独立发展，从而导致不对称的转移效应。