split-KV

DeepSeek V4 通过自定义内核取代 cuBLAS 实现更快的性能

DeepSeek 开发了一个自定义内核栈 DeepGEMM 和 TileLang，其性能不仅媲美，而且超越了 NVIDIA 的 cuBLAS。此自定义实现实现了比特级确定性和批次不变性，解决了其他工作负载平衡策略（如 splitK 或 split-KV）中常见的非确定性输出问题。这项创新在于其浮点数学方法，确保了调试和训练结果的一致性。