在个人硬件上本地运行AI模型，通常在购买初始硬件后被视为免费，但这忽略了显著的成本。即使按居民费率计算，推理所需的电力也可能产生与某些托管模型相当的可观的每token成本。此外，硬件的资本成本在典型的个人使用时间内摊销后，构成了大部分费用，使得利用率成为决定本地推理真正成本效益的关键因素。 AI
影响 强调本地AI推理的真实成本在很大程度上取决于使用情况，电力和硬件摊销是重要因素。
排序理由 文章讨论了本地AI推理的成本效益，分析了电力和硬件摊销，而不是宣布新版本或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>“Once the hardware is paid for, inference is free” is not wrong so much as incomplete. It is a claim about marginal cost, made in a situation where marginal cost is the smaller term, and the arithmetic that shows this is short enough to do here.</p> <h2> The claim, stated fair…