SCOPE-OPSD

新的 SCOPE-OPSD 方法改进了 AI 模型自蒸馏

研究人员开发了一种名为 SCOPE-OPSD 的新方法，通过引入 Fisher 条件特权子空间来增强在线策略自蒸馏 (OPSD)。该技术旨在通过利用教师模型和学生模型之间的最终层差异，将监督超越仅次词元概率进行转移。在各种 Qwen3 模型上进行的实验表明，SCOPE-OPSD 在不同轨迹长度上始终优于标准的 OPSD 和匹配的随机对照，显示出显著的性能提升。