Krista

自托管大语言模型每年为企业节省 12.4 万至 40 万美元，优于 API

一家企业平台的 LLM 流量上个月总计约 540 万次请求和 80 亿个 token，主要路由到裸机 GPU 上的自托管、开源模型。据估计，与使用商业 API 相比，这种方法每年可节省 12.4 万至 40 万美元。作者强调，重要的是使用内部评估流程来比较模型在实际工作负载上的质量，而不是依赖通用基准，以建立合法的成本节约基线。