FlowBalance

FlowBalance 方法通过验证器引导的自我改进来增强 AI 推理模型

研究人员开发了 FlowBalance，一种新颖的推理模型自我改进方法，解决了传统内部循环训练的脆弱性。该技术通过使用验证器派生的群体优势来校准自我指导分数，从而学习完整响应上的归一化分布。FlowBalance 保留了对正优势轨迹的指导，并逆转了对负优势轨迹的指导，确保学习不会过度集中在狭窄的解决方案上。该方法在 Qwen3 模型上的数学推理任务中表现出改进的性能、训练速度和稳定性，同时还展现出更正确的策略多样性。