Yinghui He

新AI训练方法利用自我修正提升性能

研究人员推出了一种名为Self-Distillation Zero (SD-Zero) 的新方法，以提高语言模型训练效率。该技术训练单个模型同时充当生成器和修正器，利用二元奖励创建密集的、token级别的监督。SD-Zero在数学和代码推理任务上展示了显著的性能提升，在可比的训练样本预算下，其表现优于Rejection Fine-Tuning和GRPO等现有基线。