一位 Reddit 用户分享了为本地运行大型语言模型而设计的自定义 AI 服务器的详细信息。该机器每台成本约 10,733.91 美元,配备四块 ASRock Radeon AI PRO R9700 Creator GPU,每块卡提供 128 GB VRAM,三台机器总共提供 384 GB VRAM。这些系统用于为一家枪支相关企业提供 AI 支持,处理事实核查、业务识别和数据提取等任务,并选择了 Qwen/Qwen3.8-27B-FP8 模型,因为它具有成本效益比。 AI
影响 为专业业务应用实现 LLM 的经济高效的本地部署。
排序理由 用户构建的硬件,用于在本地运行 AI 模型。
- AMD EPYC 7452
- ARCTIC Freezer 4U-M
- ARCTIC P12 Pro
- ASRock Rack ROMED8-2T/BCM
- ASRock Radeon AI PRO R9700 Creator
- DDR4-2666 ECC RDIMM
- EPYCs
- Noctua NF-A8
- Qwen
- Qwen/Qwen3.8-27B-FP8
- R9700
- Samsung 990 PRO 1 TB
- SilverStone HELA 2050R Platinum
- SilverStone RM44 4U
- USA Arms
- vLLM-Radiance
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →