新的采样方法稳定了大型语言模型的低精度强化学习

研究人员开发了自适应重要性采样（AIS）技术，以解决在大型语言模型强化学习中使用低精度 rollout 导致的训练不稳定性问题。该技术根据实时诊断动态调整梯度校正，平衡探索收益与偏差减少。当与 LLaDA-8B-Instruct 和 Qwen3 系列等模型集成时，AIS 在保持显著的低精度生成速度优势的同时，性能与更高精度的训练相当。 AI

影响 通过低精度 rollout 稳定大型语言模型的训练，可能降低计算成本并提高效率。

排序理由 该集群包含一篇详细介绍改进大型语言模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

• Jiajun Zhou Thomas
• Large Language Models
• LLaDA-8B-Instruct
• Qwen3
• Qwen3.5-9B
• Reinforcement Learning
• Adaptive Importance Sampling

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →