在 RTX 4090 等消费级硬件上运行本地大模型推理感觉比 ChatGPT 等服务慢，并非因为硬件性能不足，而是由于硬件的使用方式。消费级 GPU 通常用于批处理大小为一的工作负载，这种方式效率极低，未能充分利用 GPU 的计算能力。相反，托管服务采用连续批处理等技术同时处理多个请求，极大地提高了算术强度并降低了每 token 的成本。 AI
影响 理解批处理效率对于优化本地大模型性能和管理消费级硬件的预期至关重要。
排序理由 文章解释了有关大模型推理效率的技术概念。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>A machine with a 24 GB consumer GPU is not a hundred times worse than a datacentre. It is running a fundamentally different workload, and the difference is visible in one ratio that has nothing to do with how good the hardware is.</p> <h2> The comparison is not the one you thi…