DSv4-Flash

DSv4-Flash 优化提升 NVIDIA GH200 上的 LLM 推理速度

一种名为 DSv4-Flash 的新优化技术已被开发出来，可显著提高 NVIDIA GH200 硬件上大型语言模型推理的速度。当与 vLLM 和 SGLang 结合使用时，该优化可以在文本生成方面实现每秒超过 300 个 token，并在 192 GB HBM 内支持高达 100 万个 token 的上下文长度。改进细节包含在文章中，其中提供了具体的配置步骤和性能指标。