Official Direct Connection

LLM 访问成本：直连 vs. 网关 vs. 集合采购

一篇文章提出了一个计算访问大型语言模型真实成本的公式，考虑了名义价格、维护以及缓存和分层等各种节省。对于每月消耗 1 亿 token 的 6 人编码代理团队而言，分析表明，虽然直连的名义价格最低，但自建 LLM 网关可提供最大的成本降低，但维护成本高昂。托管式 Token 集合采购被认为是一种最佳平衡，可在极低的维护成本下实现显著的成本节省，使其成为大多数团队的默认选择。