Kalman Meets Curriculum

新的卡尔曼滤波方法提高了LLM RL微调的效率

研究人员开发了一种新颖的卡尔曼引导提示选择（KGPS）方法，以提高大型语言模型（LLM）的强化学习（RL）微调的效率和有效性。KGPS将提示难度建模为一个动态状态估计问题，使用卡尔曼滤波器来维护一个校准后的提示难度后验分布，该分布会随着训练过程中的策略漂移而调整。这种方法避免了额外的rollout需求，并已展示出最先进的性能，显著减少了rollout需求，同时提高了在各种推理基准上的准确性。