Adaptive Layerwise Perturbation

新的LLM RL技术应对性能饱和和对话挑战

研究人员开发了新的方法来提高使用强化学习（RL）训练的大型语言模型（LLM）的性能和稳定性。一种方法Entrocraft使用拒绝采样技术精确控制训练过程中的熵曲线，防止性能饱和并增强泛化能力。另一种方法自适应层扰动（ALP）向模型层注入小的扰动，以缓解训练策略与推理策略之间差距引起的问题。第三个框架，经过验证的LLM知识赋能RL（VLK-RL），通过在指导策略优化之前验证LLM派生的约束，将LLM与RL相结合来处理复杂、长期的对话任务。