TensorDock

混合MoE LLM在全通信中显示隐藏延迟

新的混合Mamba-Transformer专家混合（MoE）模型，例如NVIDIA的Nemotron 3 Nano Omni和Jamba，正在表现出性能停顿，而这些停顿在标准的推理仪表板中是看不见的。这些停顿发生在MoE路由层内的全通信过程中，尽管它们占总调用次数的比例较小，但却主导了尾部延迟。当前的指标，如GPU利用率和端到端延迟，会聚合这些问题，掩盖了对优化推理引擎至关重要的每层性能变化。