Devsisters

日活千万级AI应用通过跨云架构将GPU成本降低75%

一款日活用户超过一亿的应用因高昂的AI推理成本面临严重的财务危机，导致每用户净亏损1美元。该公司此前在主要云服务商上的设置导致GPU租金高昂，数据传输的出口费用巨大，再加上网络延迟降低了GPU效率。为应对此问题，该应用将AI推理层迁移至Akamai平台，重新配置了GPU集群并采用了NVIDIA RTX PRO 6000显卡。此举大幅缩短了推理时间和服务器集群规模，成本降低了75%，实现了盈利。