DeepSeek-V4采用新颖的路由和奖励方法进行训练

DeepSeek-V4引入了新颖的训练技术，包括“预期路由”（Anticipatory Routing），通过使用旧权重进行路由决策来稳定训练；以及“生成奖励模型”（GRM），在该模型中，模型本身充当复杂任务的裁判。该模型还支持三种不同的推理模式（非思考、高思考、最大思考），并针对不同的推理深度进行了不同的配置训练。这些进步凸显了对灵活、可编程的训练基础设施的需求，这种基础设施能够适应复杂的、共同设计的模型和运行时系统。 AI

影响 强调了未来大型语言模型的高级训练方法和基础设施需求。

排序理由 该集群讨论了新模型的发布及其相关的训练技术和基础设施影响。[lever_c_demoted from research: ic=1 ai=1.0]

在 Fireworks AI blog 阅读 →

• Compressed Sparse Attention
• DeepSeek-V4
• Fireworks AI
• Generative Reward Model
• Heavily Compressed Attention

• 模型发布
• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →