一位律师更新了其用于法律起草的本地 AI 设置，该设置现配备十二块 V100 SXM2 32GB GPU，以及一个额外包含四块 RTX 3090 和两块 V100 PCIe 卡的盒子。他们从 vLLM 切换到 llama.cpp 来运行 Mixture-of-Experts (MoE) GGUF 模型，发现 MoE 模型在 V100 硬件上比密集模型提供显著更好的性能和上下文处理能力。该系统现在采用一个协调器，将任务路由到多个本地模型，利用所有 16 块 GPU 来处理起草宣誓书和动议等复杂工作。 AI
影响 展示了 MoE 模型在专业任务中的有效本地部署，可能减少对云服务在特定应用中的依赖。
排序理由 用户级硬件和软件部署以完成特定任务。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
