Flash MoE

DeepSeek V4 模型提供高性能，同时降低推理成本并支持 NPU

DeepSeek 发布了其 V4 系列开源大语言模型，其中包括一个拥有 1.6 万亿参数的模型和一个拥有 2840 亿参数的较小 Flash MoE 模型。这些新模型声称在性能上可与顶级的专有 LLM 相媲美，同时显著降低了推理成本。实现这一效率的关键在于架构创新，例如混合注意力机制和使用较低精度的数据类型（FP8 和 FP4），从而能够以大大减少的内存实现百万级 token 的上下文窗口。