一位 Reddit 用户正在质疑当前模型蒸馏技术的有效性，特别是那些使用 250 个样本等少量样本的技术。他们回忆起 Qwen R1 8B 的一个积极案例，但此后发现其他蒸馏模型均未优于其基础版本。用户对 Mythos 或 GPT-5.6 等新模型是否能通过如此有限的蒸馏带来显著改进表示怀疑，并对这些方法质量的下降表示遗憾。 AI
影响 引发了对当前 AI 模型蒸馏方法提供的实际效用和质量改进的质疑。
排序理由 用户观点文章，讨论 AI 模型蒸馏技术。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Just kidding.</p> <p>Are there any distills that actually improve a model's quality? I remember the Qwen R1 8B distill improved the model, but since then, I don't remember ever using a distilled model that was better than the base model. Unless M…