一位用户详细介绍了他们在配备 8GB RTX 4060 GPU 的笔记本电脑上运行 Qwen3.6-35B-A3B 模型的经验。他们发现禁用内存映射 (`--no-mmap`)、确保足够的 VRAM 空间以及关闭 CPU 密集型应用程序可以显著提高性能。令人惊讶的是，推测解码提供了 26% 的速度提升，这与其他基准测试结果相反，用户将其归因于该模型具有 CPU 卸载专家功能的混合架构。 AI
影响 为在有限硬件上运行大型语言模型提供了实用见解，有可能提高本地 AI 部署的可访问性和效率。
排序理由 用户生成的关于在消费级硬件上优化和运行特定 LLM 的报告，包括意想不到的性能发现。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →