Reddit r/LocalLLaMA 版块的一位用户正在寻求关于组建新 PC 的建议,该 PC 将针对运行大型语言模型(如 Qwen 3.8 Next 和 GLM 3 Flash)以及用于图像生成的 ComfyUI 进行优化。用户计划使用 llama.cpp 和可能使用的 vLLM,重点是将模型分片到多个 GPU 并卸载到 RAM。他们正在考虑一种配置,即通过 Thunderbolt 5 连接三块内置 GPU 和两块外置 GPU,目标是使用 RTX 5060 Ti 16GB 显卡达到总共 80GB 的 VRAM,以及 128GB 的系统 RAM。用户还在询问是否可行在第二台 PC 上运行 Linux 以支持此配置,以及他们提出的硬件配置是否存在任何明显缺陷。 AI
排序理由 这是一位用户在寻求关于运行 LLM 的硬件配置的个人技术建议,并非新闻事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →