howaiworks

自托管 LLM：隐藏的成本和利用率挑战

在选择使用闭源前沿 LLM API、托管的开源模型 API，还是自托管开源模型之间做决定是一个复杂的问题。虽然自托管可能因为较低的每 token 成本而显得更具成本效益，但实际节省的成本在很大程度上取决于 GPU 的利用率，而在生产环境中，GPU 的利用率通常很低。像升级和调试这样的运营开销也会增加显著的成本，从而将盈亏平衡点推高很多，特别是与托管的开源模型服务相比。