Reddit 的 r/LocalLLaMA 子版块的一位用户分享了在单个 NVIDIA P40 GPU 上运行的 Qwen3.6-35B 模型的令人印象深刻的性能指标。通过使用 llama.cpp 的 TheTom 的 TurboQuant 分支并禁用视觉组件，该用户实现了 100k 的上下文窗口和每秒 80 个 token 的速度。此设置经过优化，可在旧硬件上最大化性能，同时保持代理可用性。 AI
影响 展示了在旧硬件上针对大上下文窗口的优化性能，可能使更广泛地使用先进模型成为可能。
排序理由 用户分享的在消费级硬件上针对特定模型的性能指标。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
