一位 Reddit 用户认为，自托管大型语言模型在经济上并不比基于云的解决方案便宜。他们计算得出，他们的个人设备成本约为 2800 美元，并且消耗大量电力，但每 token 的成本高于租用 H100 等云 GPU。用户得出结论，自托管的主要动机是隐私、控制和折腾的愿望，而不是节省成本。 AI
影响 自托管 LLM 通常被认为更具成本效益，但该分析表明隐私和控制是主要驱动因素，而非经济因素。
排序理由 用户生成的关于技术主题的观点文章。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Did the math on my own rig last week and I'm tired of seeing this sub repeat the "local is cheaper" line without numbers. Let me actaully break it down.</p> <p>My setup: 2x 3090 (used, $1400 total), Ryzen 7900X, 64GB DDR5, around $2800 …