EPYC 7302P

律师构建 16-GPU AI 集群用于法律起草，采用 MoE 模型

一位律师更新了其用于法律起草的本地 AI 设置，该设置现配备十二块 V100 SXM2 32GB GPU，以及一个额外包含四块 RTX 3090 和两块 V100 PCIe 卡的盒子。他们从 vLLM 切换到 llama.cpp 来运行 Mixture-of-Experts (MoE) GGUF 模型，发现 MoE 模型在 V100 硬件上比密集模型提供显著更好的性能和上下文处理能力。该系统现在采用一个协调器，将任务路由到多个本地模型…