rejuvenation

新方法恢复LLM可塑性，以改善SFT后的RL效果

研究人员发现了一种称为“模型可塑性损失”的现象，该现象阻碍了大型语言模型在监督微调（SFT）后进行强化学习（RL）的有效性。过度的SFT会导致模型过于自信的token分布和困难的优化景观，限制了RL进一步提升模型能力的能力。为了解决这个问题，提出了一种名为“Rejuvenation”的新方法，该方法使用基于基础模型的融合和有针对性的神经元重置来恢复可塑性，同时保留SFT的好处，在推理和代理任务上表现出改进的性能。