PB2

新的FSPO控制器增强了LLM强化学习的后训练

研究人员开发了FSPO，这是一种新颖的反馈状态控制器，旨在改进大型语言模型（LLM）的后训练强化学习过程。FSPO通过学习策略一致的风险价值模型并采用决策条件轨迹校准来解决适应LLM行为的关键挑战。它还引入了帕累托资源续期证书，以确保多资源分配的可行性。在评估中，与现有的自适应基线相比，FSPO在保留数据和分布外数据上的准确性均显示出显著的提升。