NInfer

NInfer 引擎在单张 RTX 5090 上实现 Qwen3.6 542 tok/s

一款名为 NInfer 的全新推理引擎，使用 C++/CUDA 从头开始构建并已开源，展示了 Qwen3.6-35B-A3B 模型令人印象深刻的性能。该引擎在单张 RTX 5090 GPU 上实现了 65,536 token 全量补全的持续速度 542 token/秒。通过自定义量化、内核融合和其他深度流水线增强实现了这一优化，使得 NInfer 高度专注于特定的 Qwen3.6 检查点。