RTX 5090 32G

自托管LLM：GPU租赁与按token计费API成本计算器

只有当GPU以高吞吐量使用时，在租用的GPU上自托管大型语言模型才比使用按token计费的API更具成本效益。收支平衡点通过将每小时GPU租赁成本除以每token的混合价格来计算，从而确定每小时必须生成的token数量才能证明GPU支出的合理性。本文提供了计算公式和一个使用Qwen3 32B模型在RTX 5090 32G GPU上的实例，强调了持续、大流量的访问对于自托管更便宜是必要的。