NInfer 分叉版在 CMP170HX 硬件上实现了 Qwen3.6-35B 性能翻倍

一位用户成功分叉了 NInfer 项目，使其能够在 CMP170HX 硬件上运行，并为 Qwen3.6-35B 模型实现了两倍的性能提升。此修改涉及调整 CUDA 内核和编译器标志，以适应 CMP170HX 的特定架构，这与它最初基于的 RTX 3090 不同。用户强调了本地 AI 社区其他开发者的贡献，并详细介绍了为实现这一性能提升所克服的技术挑战，包括内核启动大小错误和工作区大小调整。 AI

影响 使用户能够在本地部署 LLM 时，从消费级硬件中获得更高的性能。

排序理由 用户驱动的现有开源软件修改，以优化硬件性能。

在 r/LocalLLaMA 阅读 →

• 3090
• 4090
• CMP170HX
• Codex
• Hermes
• llama.cpp
• Neroued
• NInfer
• Qwen3.6-35B
• Qwen3.8-27B
• Sergiuszm
• SGLang
• vLLM

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →