Reddit的r/LocalLLaMA板块的一名用户详细介绍了其花费约3000美元组装的定制家用推理服务器。该服务器拥有128GB显存和256GB内存,使用了四块V620 GPU、一块EPYC 7452处理器和一块Huananzhi D12D主板等组件。用户报告称功耗在500-900W之间,并对其性能表示满意,尤其是在128k+上下文上运行Qwen3.8-next-flash Autoround W4A16模型时。 AI
影响 使用户能够在本地运行更大的模型,可能减少对云服务的依赖。
排序理由 用户自建的AI推理硬件,并非大型实验室的产品发布。
- 128GB VRAM
- 256GB RAM
- DDR4 SDRAM
- EPYC 7452
- Huananzhi D12D
- Lenovo p620 workstation
- Qwen3.8-next-flash Autoround W4A16
- server
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →