NVIDIA Management Library (NVML)

LLM 推理因隐藏的 VRAM 过热而受到限制

现代操作系统未能报告关键的 VRAM 温度，而是显示 GPU 核心温度，这可能导致本地 LLM 推理的性能下降。这种遥测差距对于专家混合（MoE）模型尤其成问题，由于持续的读写操作，它们会在 VRAM 上产生持续的热负荷。文章解释了像 Gemma-4 26B 这样的 MoE 模型如何利用系统 RAM 和 GPU VRAM 之间的内存分割，以及这种持续的交换如何导致 VRAM 模块过热，从而在没有明显系统错误的情况下导致推理速度骤降。它…