研究人员开发了 FlowBalance,一种新颖的推理模型自我改进方法,解决了传统内部循环训练的脆弱性。该技术通过使用验证器派生的群体优势来校准自我指导分数,从而学习完整响应上的归一化分布。FlowBalance 保留了对正优势轨迹的指导,并逆转了对负优势轨迹的指导,确保学习不会过度集中在狭窄的解决方案上。该方法在 Qwen3 模型上的数学推理任务中表现出改进的性能、训练速度和稳定性,同时还展现出更正确的策略多样性。 AI
影响 增强了 AI 推理模型的训练稳定性和多样性,有望带来更强大、更具能力的系统。
排序理由 该集群包含一篇详细介绍 AI 模型自我改进新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →