实体
Huawei Atlas 910B
Huawei Atlas 910B
PulseAugur coverage of Huawei Atlas 910B — every cluster mentioning Huawei Atlas 910B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM 存储延迟容忍度随 GPU 利用率阶梯式变化
LLM 推理的存储延迟容忍度并非随 GPU 利用率线性下降，而是以阶梯状方式变化。在较高的 GPU 利用率水平（约 90%）下，计算队列饱和，存储延迟成为关键瓶颈。这需要稳定、低延迟的存储响应，而不仅仅是高带宽，以避免 GPU 空闲时间并维持有效的计算。例如，使用 Mingxin FX100 和 480B 模型，增加并发性显著提高了首次令牌生成时间，凸显了存储性能在高利用率 AI 工作负载中的重要性。
-
明心科技通过优化模型切换将GPU利用率提升16%
明心科技通过解决模型切换和冷启动延迟问题，显著提高了GPU计算利用率。通过分层KV Cache加速、并行读优化和端到端负载加速这三个优化步骤，他们将有效计算利用率从46.7%提高到62.8%。这些优化在AMD MI308X和华为Atlas 910B平台上进行了测试，缩短了首次令牌生成时间和模型加载时间，从而释放了现有计算基础设施的更多潜力。