一台配备 Nvidia RTX Spark N1X GPU 的 Surface Laptop Ultra 在使用 Ollama 本地运行 Qwen3 编码器 30B 模型进行短代码任务时,实现了每秒 90.9 个 token 的惊人速度。与配备相同硬件的联想 Yoga 9n 在类似任务上的表现相比,这一性能明显更快。然而,在处理超过 10 万个 token 的非常长的提示时,Surface Laptop Ultra 的性能显著下降至每秒 19.7 个 token,而采用更优化的 vLLM 配置的联想设备则保持了每秒 44.3 个 token 的更高速度。 AI
影响 展示了在消费级硬件上本地部署 LLM 的实际性能差异,突出了易用性与长上下文效率之间的权衡。
排序理由 文章详细介绍了运行本地 LLM 的特定硬件和软件设置的性能,侧重于实际使用,而非新发布或研究突破。
- Lenovo Yoga 9n
- Microsoft
- Nvidia
- Ollama
- Qwen3.8-27B
- Qwen3 coder 30b
- RTX Spark N1X
- Surface Laptop Ultra
- vLLM
- Windows Subsystem for Linux
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →