KL-regularized RL
PulseAugur coverage of KL-regularized RL — every cluster mentioning KL-regularized RL across labs, papers, and developer communities, ranked by signal.
-
新的GIFT方法通过协调SFT和RL来增强大型推理模型训练
研究人员推出了一种新方法GIFT（Gibbs Initialization with Finite Temperature，有限温度吉布斯初始化），以改进大型推理模型（LRMs）的训练后过程。该技术通过使SFT目标在结构上与后续的RL阶段兼容，解决了监督微调（SFT）和强化学习（RL）之间的优化不匹配问题。通过采用源自KL正则化RL的吉布斯最优值的令牌级变分代理，GIFT通过有限温度保留了结构多样性，与标准SFT中出现的分布坍塌不同。…
-
新的博弈论框架优化语言模型微调
研究人员开发了一种新颖的博弈论框架用于微调语言模型，旨在优化在目标任务上的性能提升与遵守参考策略之间取得平衡。该方法超越了传统的KL正则化强化学习目标，将权衡视为智能体和监控器之间的序贯博弈，从而得到具有最优正则化参数的均衡策略。该方法在Qwen3-8B和Llama 3.2 1B模型上进行了演示，提供了一种学习该参数的原则性方法，可能在持续学习场景中降低训练成本并改善奖励保留权衡。
-
新的自蒸馏方法增强了大型语言模型的推理能力和训练稳定性
两篇新论文探讨了用于大型语言模型的先进自蒸馏技术，旨在提高推理能力和效率。第一篇论文介绍了“Power Distribution Bridges”，它连接了采样、自奖励强化学习和自蒸馏，表明功率分布可以优化 KL 正则化强化学习并实现一种新的离线蒸馏形式。第二篇论文提出了“基于偏好的自蒸馏”（PBSD），超越了简单的 KL 匹配，采用了一种奖励正则化目标来优化偏好差距，从而提高了训练稳定性和在推理及工具使用基准测试上的性能。