Pingbang Hu

新的大模型训练后优化框架提供灵活的偏差-方差权衡

研究人员推出了一种名为“Dr. Post-Training”的新颖框架，该框架将通用训练数据重塑为正则化器，以防止大模型过拟合。与传统的数据选择方法相比，这种方法允许更灵活的偏差-方差权衡。在监督微调（SFT）、人类反馈强化学习（RLHF）和RLVR上的实验表明，“Dr. Post-Training”的性能优于现有方法，尤其是在通用数据和目标数据不一致的情况下。