5090s

NInfer 分叉为双 5090 上的 Qwen-3.8 27B 实现 1M 上下文

对 NInfer C++20/CUDA 推理引擎的一个分叉已被开发出来，以支持 Qwen-3.8 27B 模型 100 万个 token 的上下文窗口。这个增强版本运行在双 5090 GPU 上，与 vLLM 相比，在解码时实现了显著更高的 token/秒速率，尤其是在超出基础模型的原生上下文限制时。虽然 vLLM 提供更快的预填充时间，但 NInfer 分叉在极端上下文长度下展示了改进的内存效率和持续的解码性能。