Logical Coherence Reward

新框架对齐AI推理轨迹以改进知识蒸馏

研究人员引入了认知对齐的推理蒸馏（CARD）框架，旨在改进从大型推理模型（LRMs）到小型模型的知识蒸馏。传统方法通常使用原始教师轨迹，这些轨迹针对求解而非教学进行优化，导致对于认知能力不同的小型模型效率低下。CARD将现有的求解轨迹转化为更符合学生模型学习能力的教学轨迹。这通过分布对齐奖励和逻辑连贯性奖励实现，有助于匹配学生的预测分布并减少误导性推理步骤，最终优于原始轨迹蒸馏。