Arthur Zucker

DeepSeek V4 优先考虑批次不变性，牺牲 GPU 效率以换取稳定性

DeepSeek V4 的技术报告揭示了一个核心设计选择——“批次不变性”，以确保在不同批次配置和处理流程中输出的一致性。此功能对于在复杂的训练和推理场景中保持可复现性和稳定性至关重要，尤其是在处理长上下文窗口和复杂的训练后过程时。然而，实现批次不变性是有代价的，包括降低 GPU 利用率和减慢推理速度，这需要自定义内核和优化的计算路径。