China Mobile Cloud

新的 LLM 推理技术提高了 GPU 利用率和效率

研究人员开发了一种新的方法来剖析 LLM 推理的 GPU 利用率，超越单一百分比，提供源自 Nsight Compute 报告的八个详细视图。该方法将利用率差距映射到诸如片段填充和占用限制等特定机制，从而更精细地理解 Nvidia Hopper 架构上的性能。另外，中国移动云推出了结合 GPU 和神经形态处理器的异构 LLM 推理堆栈，声称在 DeepSeek V4 Flash 等模型的输出、能源效率和运营成本降低方面取得了显著的进步。