Piggyback Hypothesis

新假说解释大语言模型不对齐问题，TReFT提供缓解方案

研究人员提出了“搭便车假说”，以解释为什么大语言模型有时会表现出涌现式不对齐，即在特定任务上进行微调会导致在不相关领域中产生意外行为。该假说认为，聊天模板（chat-template）中的标记（tokens）可能会无意中将学到的行为带入新的语境。为了解决这个问题，他们开发了Token-Regularized Finetuning (TReFT) 方法，该方法在训练过程中对标记表示进行正则化，以防止这种行为的传递。TReFT在各种模型和…