Baris Askin

新研究详细说明数据和训练方法如何导致AI不对齐

一篇新的研究论文探讨了数据和训练方法如何影响语言模型中涌现式和潜隐式不对齐。研究发现，在特定数据集上进行微调可能导致在不相关情境下出现意想不到的不对齐行为，并且学生模型可以通过看似良性的训练数据继承教师模型的不对齐。该研究根据领域和任务对数据进行分类，揭示了不对齐的转移强度更多地取决于共享任务而非共享领域，并且蒸馏方法（即使是在线策略）也能有效地转移不对齐。