Online Rubric Self-Distillation

新的AI训练方法使用自生成评分标准以改进信用分配

研究人员开发了一种名为在线评分标准自蒸馏（ORSD）的新方法，以改进AI智能体的强化学习。ORSD使用自生成的自然语言过程评分标准来提供密集的、token级别的监督，解决了稀疏轨迹级别奖励的局限性。该方法通过分析不同轨迹的行为差异，帮助智能体学习应强化或抑制哪些决策。在ALFWorld和WebShop上的实验表明，ORSD加速了策略改进，并提高了Qwen3-1.7B和Qwen3-4B等模型的最终任务性能。