NVIDIA DGX SuperPOD

MaaS 单元经济学：折扣和延迟侵蚀净收入

模型即服务 (MaaS) 的真实成本并非由标价决定，而是由折扣和效率低下后的净收入决定，其中折扣链和存储延迟是关键因素。存储延迟，尤其是在长上下文推理中，会显著降低 GPU 利用率高达 30%，影响吞吐量并增加净成本。优化 MaaS 单元经济学需要将重点从简单地购买更便宜的 GPU 转移到最大化现有硬件的吞吐量，并考虑计算、存储和网络性能的相互作用。