Frost Training

新的Frost Training方法提升了LLM策略优化

研究人员引入了Frost Training，这是一种旨在增强一类称为交叉熵博弈（Cross-Entropy Games）任务的基于蒙特卡洛的策略优化方法。该技术利用了嵌入空间中奖励函数的梯度，这是一个先前用于越狱的信号，但现在已被证明可以改进模型训练。Frost Training在提高速度和改善模型性能以生成高分输出方面表现出色，尤其是在使用GRPO进行最大似然填充任务时。