研究人员推出了一种新方法GIFT（Gibbs Initialization with Finite Temperature，有限温度吉布斯初始化），以改进大型推理模型（LRMs）的训练后过程。该技术通过使SFT目标在结构上与后续的RL阶段兼容，解决了监督微调（SFT）和强化学习（RL）之间的优化不匹配问题。通过采用源自KL正则化RL的吉布斯最优值的令牌级变分代理，GIFT通过有限温度保留了结构多样性，与标准SFT中出现的分布坍塌不同。实验表明，在用作RL初始化时，GIFT的表现优于传统的SFT和其他基线。 AI
影响 这项新的初始化技术可以通过改善监督学习和强化学习阶段之间的协同作用，从而实现更强大、更多样化的大型推理模型。
排序理由 该集群包含一篇详细介绍大型推理模型新训练方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Gibbs Initialization with Finite Temperature
- Gibbs optimum
- GIFT
- KL-regularized RL
- Large Reasoning Models
- reinforcement learning
- supervised fine-tuning
- Zhengyang Zhao
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
