一位 Reddit 用户正在咨询使用两块 NVIDIA SXM2 GPU（可能是 V100 或 A100）进行本地大型语言模型 (LLM) 任务的成本和可行性。该用户特别想知道是否可以在这些 GPU 的售后主板上使用 NVLink，并正在寻求相关经验、后悔之处以及与消费级设置的成本比较。 AI
影响 讨论了在本地运行 LLM 的硬件考虑因素，影响了对自托管模型感兴趣的用户。
排序理由 用户讨论本地 LLM 部署的硬件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1utybih/not_mine_costs/"> <img alt="[not mine] costs" src="https://preview.redd.it/326a7bt8loch1.png?width=640&crop=smart&auto=webp&s=11c764e5fdd9468308c3487920a38841e2996ca6" title="[not mine] cos…