qwen3.8-27b-nvfp4

NInfer 将本地 LLM 性能在 5090 GPU 上提升至 220 tokens/sec

Reddit r/LocalLLaMA 版块的一位用户分享了他们使用 NInfer 和 5090 GPU 运行 270 亿参数模型的积极体验。他们报告称吞吐量显著提高，平均速度为每秒 170-220 个 token，这比他们使用 llama.cpp 的体验快了一倍多。该用户详细介绍了他们的具体设置，包括使用的命令以及模型服务、上下文长度和量化等各种参数。