Reddit 的 r/LocalLLaMA 论坛上一位用户报告称，在使用 Qwen3.6 27B 模型时实现了每秒 1000 个 token (tps) 的生成速度。这一令人印象深刻的性能是在使用 NVIDIA V100 GPU 并处理 128 个并发请求的情况下实现的。对于单用户场景（批处理大小为 1），生成速度约为 80 tps，处理速度约为 3000 tps，并且没有提及多线程处理 (MTP) 的限制。 AI
影响 展示了一个 27B 参数模型的高推理速度，可能支持更高效的本地部署。
排序理由 用户报告的在特定硬件上对开源模型的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
