SM70

Qwen3.6-27B 模型针对 V100 GPU 优化，速度达 366 t/s

一位开发者已针对 NVIDIA V100 GPU 优化了 Qwen3.6-27B 模型，在特定基准测试中达到了每秒 366 个 token 的速度。此优化名为“v100-skinny”，专注于为 NVFP4 权重创建快速路径，并在 SM70 架构上实现高效的深度推断。虽然峰值性能针对特定提取任务有所体现，但对于 JSON 等结构化数据，实际生成速度约为每秒 240 个 token，代码生成速度约为每秒 200 个 token。