predictive divergence mask

新的预测性散度掩码增强了 LLM 强化学习

研究人员引入了一种名为预测性散度掩码的新方法，用于改进大型语言模型 (LLM) 的强化学习 (RL)。该技术旨在通过更好地使方向标准与信任区域掩码中使用的邻近标准保持一致来稳定离策略更新。所提出的掩码预测下一个策略梯度步骤是会增加还是减少散度，比传统的基于比率的方法提供了更精确的一致性。这种方法在各种模型规模和精度设置的 RL 训练中都显示出了改进。