Distilled Reinforcement Learning

新方法通过改进的强化学习和数据选择来增强大语言模型（LLM）的后训练

研究人员开发了改进大语言模型（LLM）后训练的新方法。蒸馏强化学习（Distilled RL）将教师监督整合到强化学习目标中，提供细粒度指导，实现更有效的知识转移，性能优于标准强化学习和同策略蒸馏。GradAlign 提供了一种用于大语言模型（LLM）强化学习的梯度对齐数据选择方法，利用验证集优先处理与策略梯度对齐的训练问题，从而实现更稳定的训练和改进的性能。RL-Struct 是一个轻量级框架，使用梯度正则化策略优化来可靠地生成大语…