V100s

Qwen3.6 27B 模型在 V100 GPU 上达到 1000 tps

Reddit 的 r/LocalLLaMA 论坛上一位用户报告称，在使用 Qwen3.6 27B 模型时实现了每秒 1000 个 token (tps) 的生成速度。这一令人印象深刻的性能是在使用 NVIDIA V100 GPU 并处理 128 个并发请求的情况下实现的。对于单用户场景（批处理大小为 1），生成速度约为 80 tps，处理速度约为 3000 tps，并且没有提及多线程处理 (MTP) 的限制。