KL-regularized projection

新的CIG-SFT方法增强了LLM在后训练中的泛化能力

研究人员推出了一种新颖的大型语言模型监督微调（SFT）框架CIG-SFT。该方法采用信息论方法来估计每个示范token所携带的条件信息，量化任务本身在多大程度上降低了给定决策的不确定性。通过将此信息转换为当前策略的KL正则化投影，CIG-SFT推导出一个加权的SFT目标，在无需额外数据或在线回滚的情况下，提高了数学推理和代码生成任务的泛化能力。