一位用户详细介绍了将 DeepSeek V4 Pro 模型蒸馏成两个 Gemma 版本的过程：一个 26B 参数的 MoE 模型和一个 12B 参数的密集模型。蒸馏过程包括重新填充 Natural Questions QA 对，DeepSeek API 调用成本为 0.36 美元。用户在 Unsloth Studio 中遇到了 bug，但最终成功在一台配备两块 RTX 3090 GPU 的服务器上训练了模型。26B 模型消耗了更多的 VRAM 并实现了更低的训练损失，表明知识吸收更好，尽管两个模型之间的评估差距很小。12B 模型速度更快，每 GPU 吞吐量更高。 AI
影响 展示了模型蒸馏和微调的实用技术，可能为未来的开源模型开发提供信息。
排序理由 用户主导的模型蒸馏和微调研究与实验。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
