kimbochen

DeepSeek V4 凭借新变体实现 100 万上下文，架构变更细节披露 · 已追踪 2 个来源

SemiAnalysis 发布了一期讨论 DeepSeek V4 的节目，重点介绍了其支持一百万 token 上下文窗口的两个变体。由 kimbochen 主持的讨论深入探讨了模型的架构变更，包括注意力机制和一个旨在加速计算的 Mega Mixture-of-Experts (MOE) 系统。该节目还涉及与华为 Ascend NPU 和 InferenceX 的性能比较。