一位用户发现在 Surface Laptop Ultra 上，即使将专用 GPU 内存减少到 4GB，本地 LLM GPT-OSS 120B 仍能以大约 90% 的最大速度运行。这表明该模型的大部分被加载到共享 GPU 内存中（从系统主 RAM 借用），而不是仅依赖专用 GPU 内存。虽然 LLM 性能在不同的专用 GPU 内存设置下基本保持一致，但操作系统可用的内存量却显著不同，影响了整体系统资源。 AI
影响 证明了本地 LLM 的性能对专用 GPU 内存的依赖程度低于此前的假设，可能降低了本地部署 AI 模型所需的硬件门槛。
排序理由 用户驱动的本地运行 LLM 的硬件配置探索。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
