White House OSTP

AI 模型蒸馏传递推理结构，而非核心能力

一项最新分析表明，将 Moonshot AI 的 Kimi 等 AI 模型蒸馏到 Qwen 等其他模型中，主要传递的是推理结构，而非核心能力。研究人员发现，即使是针对包含错误答案或随机数据的教师模型输出来进行微调，也会显著影响性能，这表明基础模型的架构比教师的智能更为关键。这一发现挑战了将强大模型蒸馏到较弱模型中就能使其达到相似水平的普遍看法，并强调了蒸馏痕迹的内容不如其结构形式重要。