480B

LLM 存储延迟容忍度随 GPU 利用率阶梯式变化

LLM 推理的存储延迟容忍度并非随 GPU 利用率线性下降，而是以阶梯状方式变化。在较高的 GPU 利用率水平（约 90%）下，计算队列饱和，存储延迟成为关键瓶颈。这需要稳定、低延迟的存储响应，而不仅仅是高带宽，以避免 GPU 空闲时间并维持有效的计算。例如，使用 Mingxin FX100 和 480B 模型，增加并发性显著提高了首次令牌生成时间，凸显了存储性能在高利用率 AI 工作负载中的重要性。