一位用户分享了他们为在本地运行大型语言模型而升级硬件的经历，最初购买了一块 RTX 5090 来运行 27B 模型和进行微调。随后，他们又购买了两块 RTX 6000 Pro 以应对更大的模型，但最终发现他们最初的 5090 对于大多数日常任务已经足够，于是他们将多余的计算能力借出去了。然后，该用户向社区询问了他们日常使用 LLM 模型的情况。 AI
排序理由 用户在 Reddit 上发布的关于个人 LLM 硬件选择的内容，并非重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I bought an RTX 5090 last year just to run 27B models natively. I even fine-tuned it with my own data using LoRA, building RAGs and was pretty damn happy with the results at first. But, Q8 quantization 130k context was barely squeezing through. N…