flashinfer_b12x

新工具诊断 NVIDIA Blackwell GPU 上的大语言模型服务问题

一款名为 `blackwell-doctor` 的新工具已被开发出来，用于帮助诊断和解决在大语言模型（LLM）部署于 NVIDIA Blackwell GPU 上的服务问题。该工具系统地测试各种配置，包括不同的运行时（如 vLLM 和 SGLang）、MoE 后端、量化方法和上下文长度。它着重展示了这些设置的细微变化如何导致性能、内存使用量甚至模型稳定性方面的显著差异，并提供详细的比较，识别出解决问题行为的具体提交或标志。